Input layer, Hidden layer, Output layer

Hidden layer가 9개나 있을 때Tensorboard ... 복잡한 네트웤의 구조를 파악하기가 좋다.

정확도가 0.5밖에 안되는 결과 : Backpropagation 알고리즘을 사용해서 9, 10단 처럼 긴 과정은 학습이 잘 안된다.
Sigmoid 를 통과하기 때문에 항상 1보다 작은 값이고 경우에 따라서는 0에 가까운 값이 된다.
그래서 계속 곱해지다 보면 점점 작은 값이 되서 굉장히 0에 가까운 값이 된다.
즉, 입력이 결과에 별로 영향을 미치지 않게 된다. (Vanishing gradient의 문제) -> 예측이 어려워진다.이를 보완하기 위해 나온 방식 : ReLU -> 0보다 작을 때는 0으로 보내버리고 0보다 클 때는 값을 키운다.
ReLU : Rectified Lenear Unit

Sigmoid 대신 ReLU를 쓰면 된다. (마지막 출력은 Sigmod로 한다.)

Accuacy, Cost 를 Tensor보드를 통해 봐도 굉장히 빨리 값이 좋아지는 걸 확인할 수 있다.

알고리즘별 정확도 비교