📗강의노트/모두의 딥러닝

    [모두의 딥러닝] ConvNet Max pooling 과 Full Network
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] ConvNet Max pooling 과 Full Network

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 ConV ReLU이외의 나머지 부분에 대한 것 Pooling layer는 Sampling이라고 봐도 된다! Conv layer를 통해 하나의 이미지가 나오게 된다. size를 작게 만들어 주는 것을 Pooling(sampling)이라고 한다. 그리고 resize된 것들을 다시 쌓는다 . 2x2의 output이 나오게 된다. 어떤 값을 가져올지를 pooling이 정한다. 가장 많이 사용되는 방식이 큰 값을 가져오는 Max Pooling이다. Score 값이 가장 크다 -..

    [모두의 딥러닝] CNN Introduction
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] CNN Introduction

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 각각의 부분을 바라보는 Neuron들이 있다는 것! 이미지를 잘라서 각각의 입력을 보게됨 이 층을 Conv layer라고 함. 사시에 ReLU 층을 넣고 중간에 Pooling을 해주기도 함 그다음 FC( Fully Connected ) NN으로 구성해서 labeling을 해준다. Softmax classify를 해주는 것이다. 처음에 이미지를 입력으로 받아들인다. 마지막 3은 색상을 말한다 고양이가 보는 것 처럼 하나의 부분을 먼저 본다. 마지막 3은 항상 같은 값 필..

    [모두의 딥러닝] NN, ReLu, Xavier, Dropout, and Adam
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] NN, ReLu, Xavier, Dropout, and Adam

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 기존의 softmax로 진행했을 때이다. cost를 구할 때 tf.nn.softmax_cross_entropy_with_logits를 사용하여 더 간편하게 하였다. 또한 이제 GradientDescentOptimizer를 사용하지 않고 AdamOptimizer를 사용하였다. 여기에 ReLU를 이용하여 Layer를 더 쌓아준다. 마지막 단에서 hypothesis를 구성할 때는 그냥 tf.matmul만을 이용한다. 더욱 더 향상된 94%의 정확도를 보인다. 여기서 Xavi..

    [모두의 딥러닝] NN LEGO Play
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] NN LEGO Play

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 원하는 대로 network를 조립해보자! Feedforward neural network 아래서 위로 쌓고싶은 만큼 쌓는다! 이런 형태 말고도 굉장히 다양한 구조로 만들 수 있다. Fast Forward 출력을 뽑아서 2단 앞으로 붙여버림. 이것이 2015년도에 HE가 imagenet의 오차를 3%대까지 내린 것이다. Split & Merge 과정속에 분리, 통합을 이룰 수 있음 / 형태는 다르지만 이를 CNN이라고 함 Recurrent Network 앞으로만 진행하지..

    [모두의 딥러닝] NN Dropout and model ensemble
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] NN Dropout and model ensemble

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 새로운 문제를 풀지 못함 : 응용력이 없다는 것 ! 중간과정부터 test err가 증가하게 되는데 이를 Overfitting이라고 한다. Regularization : W를 너무 구부리지 말고 좀 피자 Regularization strength 0 이면 신경 안쓰고, 0.01은 조금 , 0.1은 좀 더 많이 신경쓴다는 것이다. network를 끊어버려 몇 개의 노드를 끊어버리자는 것! random하게 각 neuron들을 쉬게하고 나머지로 훈련을 진행함. 나머지를 통해 ..

    [모두의 딥러닝] Initialize weights in a smart way
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Initialize weights in a smart way

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Vanishing gradient 문제를 해결하는 방법이 두 가지가 있는데 하나가 이전에 말했던 ReLU이고 두 번째는 초기값을 제대로 설정하자는 것이다. Geoffrey Hinton’s summary of findings up to today의 4가지 이유에 속해있다. ReLU 끼리도 결과의 차이가 존재함 / 초기에 W를 주는 것에 따라 달라짐 W를 chain rule을 할 때 사용되는데 x의 기울기가 0이 되버림 나머지 이전의 g..

티스토리툴바