0 - +
0 1
XOR 은 Linear 하게 선을 그어서 구분하기 어렵다는 문제가 생김.
1986년도에 와서 이 문제가 해결됨. Hinton의 재발견.
(Backpropagation)
복잡한 형태의 해결 방법이 나옴
2번째. Convolutional Neural Networks
그림이 있으면 그걸 잘라서 부분, 부분을 학습해서 나중에 합치면 된다.
손글씨 책을 읽어주는 기계.
지금의 AlphaGo 도 마찬가지. 성능이 좋음
기존의 Backpropagation 알고리즘으로 10여 개 이상되는 Layer를 학습시키려면, 그 알고리즘은 뒤에서 앞으로 가는
과정이기 때문에 앞으로 갈 수록 의미가 갈수록 약해져서 에러가 전달되지 않고 학습시키기가 힘들어졌다.
그래서 많이 할 수록 성능이 떨어졌음.
그래서 그 이후 더 많은 알고리즘이 개발되었다. 더 간단하고 잘되는 SVM, RandomForest 알고리즘들이 나오게 되어
뉴럴 네트워크는 다시 침체기를 맞게 된다.
이런 상황에 캐나다의 CIFAR 라는 단체는 자기들이 뉴럴 네트워크를 후원하기로 하고 연구를 장려한다.
Breakthrough in 2006 and 2007
각각의 weight 값의 초기값을 잘못줬다. 초기값만 잘 주면 학습할 수 있다.(2006년도 논문)
2006년 논문 사실을 확인하고 좀 더 깊게 신경망 해결방법을 구축하면 가능하다. 뉴럴 네트워크를 Deep Nets, Deep Learning이라 부르기 시작함 (2007년도 논문)
ImageNet - 어떤 그림을 주고 컴퓨터에게 뭔지 맞춰보게 하는 것
10년도에는 30%의 에러율에서 매년 3~4% 정도씩 에러율이 감소하다가 2012년 Alex라는 박사과정 학생이 26.2% -> 15.3%로 에러율을 엄청 줄여서 2015년의 경우 MSRA에 있는 연구자가 만들었던 Deep Learning 시스템은 3%의 에러율이 되었다.
Stanford 학생의 5% 에러율보다 나았다.
그림을 보고 설명하는 것도 가능하게 되었다.
Deep API Learnning
자연어 형태로 입력을 주면 어떤 API를 준서대로 써야되는지를 알려주는 연구.
ex. 파일을 복사하고 경로에 저장할 수 있게 해줘 -> API 안내
Noise가 많은 곳에서 사람의 말을 잘 알아들을 수 있는 시스템, 알파고 등등 딥러닝을 통해 개발되었음.
어떤 데이터를 가지고 있거나, 무언가를 팔거나, 어떤 사업을 하거나 딥러닝은 사용될 수 있다.
강력한 상품이 될 수 있다. Netflix나 Amazon의 추천에 적용된 Deep Learning
가게에서 어떤 물건을 앞에 놓을지 선호도 파악도 가능
Youtube에서 소리를 듣고 나오는 자막도 Deep learning, Google 검색엔진 - 내가 클릭할 만한 문서를 학습을 통해 예측
연구자/학생