📗강의노트

    [모두의 딥러닝] Learning rate / Evalution
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Learning rate / Evalution

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 데이터를 training / test 로 먼저 나눔! Training 을 이용해 모델을 학습시킨다! 그리고 test set은 모델이 본 적 없는 새로운 데이터. 이를 보고 평가한다 overshooting 문제 / 너무 작은 문제 Overshooting 되면 이후 분석의 prediction / accuracy 값들이 무한대로 나오다가, NaN으로 나오게 된다. 학습이 포기되는 상황이 도래하게 된다. Small learning rate일 경우 (cost 함수에 조금 굴곡이..

    [모두의 딥러닝] Training / Test data set
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Training / Test data set

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 머신러닝 모델이 얼마나 잘 작동하는 지 알아보는 법을 배운다 Data -> ML Model 로 학습 모델이 얼마나 훌륭한가 / 예측을 잘 할 수 있는가 / Training set을 학습하고 다시 training set을 가지고 예측을 하게 하면 model을 통한 답을 냄 -> 하지만 이는 공정하지 않은 것임 ( 100% 완벽한 답을 할 수도 있음 ) -> 매운 나쁜 방법이다!! 좋은 방법은 30%의 데이터를 잘라서 test set으로 사용하고 앞부분의 70%만 trai..

    [모두의 딥러닝] Learning rate / data peprocessing / overfitting
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Learning rate / data peprocessing / overfitting

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Learning rate : 조정하는 방법 Data preprocessing : 전처리 Overfitting 방지법 Learning rate Gradient descent 알고리즘 앞의 알파가 learning rate에 해당됨 이를 잘 정하는게 중요하다. step이 커져버리면 왔다갔다 하게됨 -> 최소화하는 점을 찾을 때 더 돌아감 / 튕겨나갈 수도 있음 / 큰값일 때 나타나는 이러한 현상을 Overshooting이라고 함 Cost가 줄어들지 않고 커지거나 숫자가 아닌..

    [모두의 딥러닝] Fancy Softmax Classifier - cross_entropy / one_hot / reshape
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Fancy Softmax Classifier - cross_entropy / one_hot / reshape

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Cross_entropy One_hot Reshape Soft_cross_entropy_with_logits -> logits = tf.matmul(X,W) + b logit( Score값 ) Hypothesis = tf.nn.softmax(logits) 최종 확률의 형태로 나오게 됨 Y 는 one-hot 으로 주어짐 / 이를 hypo의 log와 곱하면 됨 더 간편하게 하기 위해 Soft_cross_entropy_with_logits함수를 사용함 logit에는 soft..

    [모두의 딥러닝] Softmax Classification - TensorFlow
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Softmax Classification - TensorFlow

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 여러개의 Class를 예측할 때 유용하다! n개의 예측할 것들이 있을 때 Softmax classification 사용 Scores들을 softmax를 통해 probabilities(확률)로 나오게 된다. 이 확률들을 다 더하면 1이 되어야한다. 먼저 수식을 작성한다 tf.matmul(X,W) + b * matmul은 matrix의 곱을 말한다. Hypothesis = tf.nn.softmax(tf.matmul(X,W) + b) 와 같이 가설을 세운다 어떤 label로..

    [모두의 딥러닝] Softmax classification 기본개념 & Cost
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Softmax classification 기본개념 & Cost

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 여러개의 클래스가 있을 때 그것을 예측하는 Multinomial classification, 그중에서도 자주 쓰이는 Softmax classification을 알아보자 기본 출발은 linear에서 출발했으나 return값이 실수로 나오기 때문에 binary에는 적합하지는 않았다. 그래서 생각한 방법이 이를 Z로 놓고 g(Z)라는 함수에 넣어 큰 값을 압축을 하여 0 또는 1 사이 의 값으로 냈으면 좋겠다고 생각했다. 그래서 알아낸 것이 Sigmoid(logistic)을..

티스토리툴바