CNN을 어떻게 응용하였는지의 사례

최초의 사례(conv net 을 구상). 손으로 쓴 글씨가 주어지면 5x5, stride 1로 6개의 필터를 사용한다. 그리고 2x2로 서브 샘플링

AlexNet(2012년) : 2012년 이미지넷 경진대회에서 1등을 하며 많은 관심을 끌었다. 96개의 필터(11x11x3)로 227x227x3의 컬러이미지를 학습한다. 35K개의 변수(파라미터)가 필요하다.
Conv layer 사용. 아래 이미지 참조(stride 2)
두번째는 풀링 레이어

Normalization layer : 최근에는 잘 사용하지 않는다.
최종적으로 나온 값을 3개의 Fully Connected Layer를 사용함
[4096]개의 입력, 4096개의 출력
[4096]개의 입력, 4096개의 출력
[1000]개의 입력, 1000개의 출력 (1000개의 Label)

ReLU를 처음 사용했음.
CNN 위에 거 같은 걸 7개를 합쳐서 그 결과를 합쳤다.(앙상블..ensemble로 18 -> 15%로 약 3%를 줄였음)

GoogleLeNet : 흩어졌다 모였다가 하는 거. Inception module 이라고 한다. Conv, Conv, Pooling 하고 다른 형태의 Pooling 을 사용하기도 하고

재밌는 구조로 했다.에러율이 사람의 판단 수준인 5%를 넘어서 3.6%로 만들었다.
이전의 모델들과 다르게 152개라는 엄청 많은 layer를 만들었다. 학습하기 어려울 만한 수량인데 Fast-forward 방식을 사용해서 극복했다.
layer 갯수는 크지만 실제로 학습하는 것은 그리 크지 않아서 잘 된 케이스이다.

Text를 Conv Net으로 사용한 사례(윤김 박사님)