Logistic Regression의 cost 함수 설명

H(x) = 1 / (1 + e^-2)

log함수를 사용해서 cost function을 만든다.

c(H(x), y) = -log(H(x)) (y = 1)

c(H(x), y) = -log(1 - H(x)) (y = 0)

아래 이미지를 보면 목표로 하는 수준과 그래프가 일치한다. -> Gradient Descent 알고리즘을 적용할 수 있게 된다.

최종 Cost function

C(H(x), y) = -ylog(H(x)) - (1-y)log(1-H(x))