[모두의 딥러닝] Logistic Classification의 cost 함수

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

Cost function의 모양이 다르게 나옴 

Logistic은 시작점에 따라 최저점이 달라질 수 있음 그래서 이를 local 최저점이라고 함

Global minimum을 찾는게 목적임!  local에서 멈춰버리면 모델이 매우 나쁘게 prediction함 

그래서 이 그래프에 대해 GradientDescent를 사용할 수 없게 됨!

y가 1일 때 , 0 일때 다른 함수 적용

exponential의 구부러진 그래프를 잡아주는 것이 상극인 log함수 이다.

예측값과 실제값의 차이가 크면 cost는  커지고 반대로 차이가 작아지면 cost도 작아짐 

만약에 y=1 인데 h(x)=1 로 맞췄을 경우 cost(1) 이 되는데 1일 때 0에 가깝기에 cost = 0 이다.

만약에 y=1인데 0으로 예측하여 틀릴경우 cost = 무한대로 간다 

->y=1인데 예측이 1 일경우 cost = 0 

y=1인데 예측이 0일 경우(실패) cost = 무한대

G(z) = -log(z)

--------------

y=0인데 예측이 0 일경우 cost = 0 

y=0인데 예측이 1일 경우(실패) cost = 무한대

g(z) = -log(1-z)

두 개의 그래프를 붙이면 밥그릇 모양의 cost function 모양이 나온다!

If 컨디션을 없애보기 위해서 마지막 줄의 수식이 나온 것 

y=1일 경우 뒤에 식이 0이 되어 사라져 버림 그래서 -log(H(x))가 나오게 됨

y=0일 경우 앞의 식이 0이 되어 사라져 버림 그래서 -log(1-H(x))가 나오게 됨 

그 다음 단계인 minimize cost를 해야함 

미분한 값에 그 차만큼 내려가겠다는 알파를 부여해 조금씩 내려가면 된다!

미분하는 파트는 기존의 함수인 GradentDescentOptimizer을 이용하면 된다.