전체 글

전체 글

    [모두의 딥러닝] NN LEGO Play
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] NN LEGO Play

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 원하는 대로 network를 조립해보자! Feedforward neural network 아래서 위로 쌓고싶은 만큼 쌓는다! 이런 형태 말고도 굉장히 다양한 구조로 만들 수 있다. Fast Forward 출력을 뽑아서 2단 앞으로 붙여버림. 이것이 2015년도에 HE가 imagenet의 오차를 3%대까지 내린 것이다. Split & Merge 과정속에 분리, 통합을 이룰 수 있음 / 형태는 다르지만 이를 CNN이라고 함 Recurrent Network 앞으로만 진행하지..

    [모두의 딥러닝] NN Dropout and model ensemble
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] NN Dropout and model ensemble

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 새로운 문제를 풀지 못함 : 응용력이 없다는 것 ! 중간과정부터 test err가 증가하게 되는데 이를 Overfitting이라고 한다. Regularization : W를 너무 구부리지 말고 좀 피자 Regularization strength 0 이면 신경 안쓰고, 0.01은 조금 , 0.1은 좀 더 많이 신경쓴다는 것이다. network를 끊어버려 몇 개의 노드를 끊어버리자는 것! random하게 각 neuron들을 쉬게하고 나머지로 훈련을 진행함. 나머지를 통해 ..

    [모두의 딥러닝] Initialize weights in a smart way
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Initialize weights in a smart way

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Vanishing gradient 문제를 해결하는 방법이 두 가지가 있는데 하나가 이전에 말했던 ReLU이고 두 번째는 초기값을 제대로 설정하자는 것이다. Geoffrey Hinton’s summary of findings up to today의 4가지 이유에 속해있다. ReLU 끼리도 결과의 차이가 존재함 / 초기에 W를 주는 것에 따라 달라짐 W를 chain rule을 할 때 사용되는데 x의 기울기가 0이 되버림 나머지 이전의 g..

    [모두의 딥러닝] Sigmoid보다 ReLU가 더 좋아
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Sigmoid보다 ReLU가 더 좋아

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Active가 되는 기준이 있음! 위와 같이 하면 2단 Network가 만들어 지게 된다. -1.0 , 1.0 은 W의 Minval , Maxval을 말한다 [-1.0,1.0) 으로 1은 포함 x 첫 x의 값이 2개라는 것을 알 수 있다. 그 다음은 사용자 설정에 따라 정할 수 있다, 제일 마지막 출력은 정해져있다. 0이나 1일경우 하나의 값으로 나오기에 1로 설정한다. -> 처음과 마지막의 숫자만 신경쓰고 나머지는 사용자 임의로 설정한다. bias는 출력값을 그대로 ..

    [모두의 딥러닝] Tensorboard for XOR NN
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Tensorboard for XOR NN

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 학습을 길게할 때 진행사항을 한 눈에 볼 수 있게 해주는 것이 Tensorboard 그래프를 통해 한 눈에 파악할 수 있다. 어떤 값을 logging할 지 설정한다. 그리고 값을 준다 이를 일일이 쓰지 않고 merge한다. session에 들어가서 summary를 어디에 기록할지 파일의 위치를 정함 그리고 세션에 그래프를 넣어줌 summary자체도 tensor이기 때문에 sess.run에 넣어주면 된다. 그리고 실제로 기록한다. s의 결과를 global_step을 넣어..

    📗강의노트/핸즈온 머신러닝

    [핸즈온 머신러닝] 제 1장 정리

    Keywords머신러닝 : 머신러닝은 데이터로부터 학습할 수 있는 시스템을 만드는 것 데이터 마이닝 : 겉으로는 보이지 않는 패턴을 발견하는 것 지도 학습 : 훈련 데이터에 레이블이라는 답이 포함 분류와 회귀가 대표적 비지도 학습 : 훈련데이터에 레이블이 없음, 아무런 도움 없이 스스로 학습 군집, 시각화와 차원 축소, 이상치 탐지, 연관 규칙 학습이 대표적 특성 추출(feature extraction) : 연관된 특성을 하나의 특성으로 합치는 것 이상치 탐지 : 학습 알고리즘에 주입하기 전 데이터셋에서 이상한 값을 제거하는 것 준지도 학습 : 일부 데이터만 레이블이 존재 강화 학습 : 시간이 지나면서 보상을 얻기 위한 정책이라 불리는 최상의 전략을 스스로 학습하는 것 배치 학습 : 시스템이 점진적으로 ..

티스토리툴바