📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Tensor Manipulation
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Tensor Manipulation

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Rank & shape Rank : 차원의 수 ‘ [ ' 가 몇 개 있는가가 rank임 Shape : element의 수 Rank에 따라 shape의 모양이 달라짐 ex. rank=2, shape = [?,?] rank=4 shape=[?,?,?,?] 4차원 Shape을 볼 때 [ ] 로 구분되는 구간을 줄여나가면서 봐야한다 Axis = rank가 4라면 축이 4개(0,1,2,3) 있는 것 제일 안쪽에 있는 게 가장 큰 값을 가짐 -1 은 가장 안쪽에있는 것을 평균내어..

    [모두의 딥러닝] 딥러닝의 기본개념 1~2
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] 딥러닝의 기본개념 1~2

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 처음에 뇌를 가지고 생각을 해봄 neuron이라는 것이 매우 단순하게 동작된다는 것을 알아냈다. 그래서 만든 것이 이런 function 이다. 기존의 or and는 linear로 풀 수 있었으나 xor는 해결할 수가 없었다. 구분을 할 수가 없어서 정확도가 매우 떨여졌다. xor은 현재의 것으로 풀 수 없다고 증명을 했음. 그러면서 하나가 아니라 여러개(MLP : Multi layer perceptron) 를 합치면 할 수 있다고 했다. 하지만 각각에 들어가야할 W,b..

    [모두의 딥러닝] MNIST data
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] MNIST data

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 예전에 미국의 우체국에서 우편번호를 읽기위해 학습한 데이터이다. 실제 손글씨 28 x 28 x I image이다. Shape = 28 * 28 이다. Y의 경우는 0~9까지의 숫자 class = 10인 데이터가 된다. 여기서 one-hot-encoding을 사용한다. 100개의 x와 y의 training data를 노출시킴 training의 epoch 와 batch로 잘라서 학습 한 번에 몇개씩 학습 시킬 건지를 = batch size 100이면 100개씩 학습 Epo..

    [모두의 딥러닝] Learning rate / Evalution
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Learning rate / Evalution

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 데이터를 training / test 로 먼저 나눔! Training 을 이용해 모델을 학습시킨다! 그리고 test set은 모델이 본 적 없는 새로운 데이터. 이를 보고 평가한다 overshooting 문제 / 너무 작은 문제 Overshooting 되면 이후 분석의 prediction / accuracy 값들이 무한대로 나오다가, NaN으로 나오게 된다. 학습이 포기되는 상황이 도래하게 된다. Small learning rate일 경우 (cost 함수에 조금 굴곡이..

    [모두의 딥러닝] Training / Test data set
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Training / Test data set

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 머신러닝 모델이 얼마나 잘 작동하는 지 알아보는 법을 배운다 Data -> ML Model 로 학습 모델이 얼마나 훌륭한가 / 예측을 잘 할 수 있는가 / Training set을 학습하고 다시 training set을 가지고 예측을 하게 하면 model을 통한 답을 냄 -> 하지만 이는 공정하지 않은 것임 ( 100% 완벽한 답을 할 수도 있음 ) -> 매운 나쁜 방법이다!! 좋은 방법은 30%의 데이터를 잘라서 test set으로 사용하고 앞부분의 70%만 trai..

    [모두의 딥러닝] Learning rate / data peprocessing / overfitting
    📗강의노트/모두의 딥러닝

    [모두의 딥러닝] Learning rate / data peprocessing / overfitting

    Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Learning rate : 조정하는 방법 Data preprocessing : 전처리 Overfitting 방지법 Learning rate Gradient descent 알고리즘 앞의 알파가 learning rate에 해당됨 이를 잘 정하는게 중요하다. step이 커져버리면 왔다갔다 하게됨 -> 최소화하는 점을 찾을 때 더 돌아감 / 튕겨나갈 수도 있음 / 큰값일 때 나타나는 이러한 현상을 Overshooting이라고 함 Cost가 줄어들지 않고 커지거나 숫자가 아닌..

티스토리툴바