[모두의 딥러닝] ConvNet 활용예

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

Case 1 : LeNet-5

5x5 filter & stride =1

Case2 : AlexNet

input사이즈가 큼 

96개의 필터  ( 크기는 11x11x3이고 stride=4)  

35k 의 parameter가 필요함 

두 번째 pooling 할 때 3x3필터 사용

 계속 깊어짐

새로운 Norm layer가 나옴 : 나온 값들을 normalization해주는 것인데, 최근에 들어서는 굳이 할 필요가 없다라고 말한다. 

6*6*256 by 4096 행렬로 차원을 축소해주는 process

4096개의 입력을 받아서 4096의 출력을 만들어내는 FC, 

4096개를 입력 받아서 1000개의 label을 도출해낸다. 

 

AlexNet에서 ReLU를 도입했고

Dropout & batch size를 썼고

결과물 7개를 합쳤다. ensemble했더니 오류가 3%정도 줄었다.  

Case3 : GoogLeNet

입력이 들어가고 병렬적으로 3개를 쓰고 풀링을 하고 conv를하기도 함 

다른 형태의 conv를 사용하고 합친다. 하나는 아무과정을 거치지 않고 그냥 FC로 간다. 

Case 4 : ResNet  

인간이 5%인데 더 낮은 3%의 오차를 보임 

이미지와 다른 형태의 대회를 휩쓴 정도이다. 

기존 AlexNet은 8개였지만 ResNet은 152개의 layer을 만듬

학습하기가 매우 힘들었을텐데

여기서 중간의 값을 앞의 값에 더해서 

합쳐지게 된다. 

Layer는 더 많고 복잡하지만 합쳐짐으로써  어떤 의미로 이게 1개의 layer로 합쳐지는 것과 같다. 학습할 때 실제로는 깊지않은 것 처럼 봐서 가능한 것이다.

text를 CNN으로 처리하였다. 

그리고 AlphaGo 역시 CNN을 사용한 결과물이다.

 

19x19는 바둑판의 수를 말한다. 

“ The Only Limit Is Your Imagination "