[모두의 딥러닝] 딥러닝의 기본개념 1~2

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

처음에 뇌를 가지고 생각을 해봄 

neuron이라는 것이 매우 단순하게 동작된다는 것을 알아냈다.

그래서 만든 것이 이런 function 이다.

기존의 or and는 linear로 풀 수 있었으나 xor는 해결할 수가 없었다. 구분을 할 수가 없어서 정확도가 매우 떨여졌다. 

xor은 현재의 것으로 풀 수 없다고 증명을 했음. 그러면서 하나가 아니라 여러개(MLP : Multi layer perceptron) 를 합치면 할 수 있다고 했다. 하지만 각각에 들어가야할 W,b를 학습시킬 수 없다고 했다. 

나도 못하는데 다 안될거다! 라고 말했다. 

그렇게 시간이 흐른 후,

기본적으로는 네트워크 각각의 W,b를 이용하여 주어진 입력을 가지고 출력을 만들 수 있다. 

틀린 값을 출력했을 경우 w,b를 조정해야한다. error가 났을 때 뒤로가면서 각각에 조정을 가하는 것! 

냉랭했던 분위기인 82년에 냈다. 그만큼 반응도 뜨뜻 미지근했다.

하지만 86년에 재발견하여 주목을 받기 시작했다.

더 복잡한 망도 학습시키고 예측이 가능해진 것 이다.

그림을 볼 때 동시에 그림 전체를 보는 것이 아니라, 부분부분을 보는 시신경들이 있고 그것이 조합되는 것이 아닐까??

-> convolutional : 한번에 입력하는 것이 아니라 잘라서 다음 layer에 보내는 것을 반복하여 나중에 합치는 과정으로 하는 것이다. -> 매우 동작이 잘 됨 / 90%이상의 정확도를 보임 

하지만 또 다시 문제가 발생함 

몇개의 layer에서는 back propagation이 잘 작동하는데 복잡한( 10여개 이상 ) layer에서는  잘 작동되지 않음 

Error 발생 후 뒤로 보내지게 되는 데 가면 갈 수록 약해져서 error가 거의 전달이 안되고 학습이 되지않는다. 더더욱 성능이 떨어지게 되는 것 이다.

또한 다른 알고리즘들이 등장하게 되어서 점점 밀리게 되었다. 

아무도 도전을 하지 않고 있는 (worst possible time)에 CIFAR라는 단체가 계속적으로 활동하여 커다란 영향력을 끼쳤다. 

찬 바람이 불었던 10년이 지나고, 두 가지의 논문을 발표한다.

각각의 w가 존재하는데 초기값을 잘 주는 게 중요하다고 말한다. 지금까지 초기값을 잘못 주고 있었다는 것이다. 잘 선택한다면 학습이 가능하다고 말한다. 

한 걸음 더 나아가서 깊게 신경망을 구축하면 복잡한 문제를 풀 수 있다고 보여주었다. 

Image 인식의 오차율이 계속적으로 떨어지다가 2015년에는 인간보다 더 낮은 오차율을 보였다. 

그림을 설명할 수 까지 있고 / 말만하면 이를 API로 바꾸어 나열해 주기도 한다. 

많은 기업들이 머신러닝 / 딥러닝을 통해 매우 성장하고 발전했다.