📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Sigmoid보다 ReLU가 더 좋아
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Sigmoid보다 ReLU가 더 좋아

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Active가 되는 기준이 있음! 위와 같이 하면 2단 Network가 만들어 지게 된다. -1.0 , 1.0 은 W의 Minval , Maxval을 말한다 [-1.0,1.0) 으로 1은 포함 x 첫 x의 값이 2개라는 것을 알 수 있다. 그 다음은 사용자 설정에 따라 정할 수 있다, 제일 마지막 출력은 정해져있다. 0이나 1일경우 하나의 값으로 나오기에 1로 설정한다. -> 처음과 마지막의 숫자만 신경쓰고 나머지는 사용자 임의로 설정한다. bias는 출력값을 그대로 ..

    [모두의 딥러닝] Tensorboard for XOR NN
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Tensorboard for XOR NN

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 학습을 길게할 때 진행사항을 한 눈에 볼 수 있게 해주는 것이 Tensorboard 그래프를 통해 한 눈에 파악할 수 있다. 어떤 값을 logging할 지 설정한다. 그리고 값을 준다 이를 일일이 쓰지 않고 merge한다. session에 들어가서 summary를 어디에 기록할지 파일의 위치를 정함 그리고 세션에 그래프를 넣어줌 summary자체도 tensor이기 때문에 sess.run에 넣어주면 된다. 그리고 실제로 기록한다. s의 결과를 global_step을 넣어..

    [모두의 딥러닝] NN for XOR - TensorFlow
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] NN for XOR - TensorFlow

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 4개의 instance를 통해 모델을 만들자 y값이 0아니면 1이기 때문에 복잡한 softmax를 쓸 필요없이 Binary를 예측하는 logistic 분석하면 된다. 하지만 정확하게 잘 맞지 않는다. 이를 NN으로 해결할 수 있다. 한 단만 사용하지 않고 여러 단을 묶는 것 ( 이를 위의 사이에 추가하면 정확도가 향상됨 ) Hypothesis의 값은 1일 때 큰 값, 0일 때 작은 값인게 맞는것 (sigmoid함수) 첫 번째 layer1 값이 입력값으로 들어가게 됨 첫..

    [모두의 딥러닝] 딥네트웍 학습 시키기(backpropagation)
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] 딥네트웍 학습 시키기(backpropagation)

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 W1,W2,b1,b2 어떻게 기계적으로 학습시킬 것 인가! G -> gradientDescent learning rate를 통해 계속 내려가다 보면 global minimum에 도착할 수 있다. 이것이 cost를 최소화하는 것 미분 즉, 기울기를 계산하여야하는데 x가 Y에게 각각의 노드들이 Y에게 미치는 영향력을 알기위해서는 각각을 미분해야하는 데 계산량이 너무 많고 힘들다. 그래서 minsky가 아무도 못한다고 말한 것이다. 하지만 이를 해결한 것이 Backpropa..

    [모두의 딥러닝] 미분 정리하기
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] 미분 정리하기

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 F(x)를 x로 미분하겠다! -> 미분은 순간변화율을 말하는 것임 함수의 순간변화율 -> “기울기”를 나타내는 것이다 -> 그래서 우리가 필수적으로 GradientDescent에서 사용한 것이다. Ex) F(x)=x 일때 변화량 x가 0.01이라민 ( x + 0.01 - x) / 0.01 로 미분값이 1이 나오게 되는 것이다. 편미분 : 내가 고른 변수를 제외한 다른 변수들은 상수로 본다! F(g(x)) 미분은 Z = WX + b H(x) = sigmoid(Z) 와 같..

    [모두의 딥러닝] Neural Nets(NN) for XOR
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Neural Nets(NN) for XOR

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 One logistic regression unit cannot separate XOR !! 하나가 아니라 여러개를 합치게 되면 가능하다! 각각의 W, b 가 학습이 불가하다고 했다. 3개의 네트워크를 연결시켜서 원하는 output을 얻을 수 있다. W,b 한 쌍을 Gate or perceptron이라고 부름 사이사이 Sigmoid를 통해 값을 변환해준다. -> 이를 하나의 네트워크라고 볼 수 있다. 또 다른 조합의 W,b가 존재할까??? Multinomial을 참고해..

티스토리툴바