개발차
![[모두의 딥러닝] Stacked RNN + Softmax Layer](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99E7F23D5C42D7D228)
[모두의 딥러닝] Stacked RNN + Softmax Layer
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 이전에 긴 문장에 대해서 도전을 했었지만 잘 되지 않았었다! RNN을 Deep & Wide하게 해야한다! 층을 stacking 하는 방법이다. rnn.MultiRNNCell을 통해 층을 쌓는 것이다. 몇 개 쌓을 것인지 n을 곱하는 것 이다.CNN에서도 마지막에 FC를 쓰는 것 처럼 RNN에서도 유사하게 Softmax(취하지는 않음)를 마지막에 취해준다. 출력된 데이터를 쌓아서 하나로 입력하면 된다. 기계적으로 항상 이렇게 reshape을 두 번 해준다고 생각하면 된다..
![[모두의 딥러닝] Long Sequence RNN](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F990BF6445C42B99201)
[모두의 딥러닝] Long Sequence RNN
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 기존에는 손으로 manual을 만들었다. 위와 같이하면 자동으로 one-hot의 과정을 거칠 수 있다. set이라는 명령으로 unique한 문자열을 얻어낼 수 있다. x, y_data를 설정할 때 0~n-1 / 1~n까지 설정하여 그 다음 글자를 예측할 수 있도록 한다. Idx2char = num_classes이다. One.hot으로 만들 때 shape을 잘 살펴야한다. hyperparameter도 자동으로 바뀌게 할 수 있다, GradientDescentOptimiz..
![[모두의 딥러닝] Hi Hello RNN](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99DF2B495C40339422)
[모두의 딥러닝] Hi Hello RNN
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 다음 글자를 예측하는 것 매우 쉬워보이지만 h일때 i가 나올 때도 있고 e가 나올 때도 있다. 5개한 유니크한 문자 ( 단어가 몇 개 있느냐 ) Onehot encoding으로 문자를 바꿀 수 있다. 입력 dim과 출력 dim / batch / sequence length를 정해야함 Input_dim = 5 Sequence_length = 6 ( 박스의 갯수 ) Hidden_size = 5 ( 문자열로 나와야하기 때문! ) Batch_size = 1 (문자가 1개밖에 ..
![[모두의 딥러닝] RNN Basics](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99B1AE3C5C3FED821A)
[모두의 딥러닝] RNN Basics
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 활용도가 가장 높은 방법임!이번의 output이 다음의 cell에 연결이 된다! 두 가지 값, outputs, states를 도출하게 된다. “학습"과 “구동"을 나눠서 방법을 자유자재로 변경할 수 있다. 기존의 방법이 마음에 들지 않았을 때, 학습의 방법만 변경하여 그대로 실행할 수 있다. 먼저 one-hot encoding으로 표현하는 것이 좋다. 입력의 dimension은 4가 될 것 이다. output의 dim은 마음대로 설정할 수 있다. Hidden_size를..
![[모두의 딥러닝] NN의 꽃 RNN 이야기](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99D12A3A5C3FE70611)
[모두의 딥러닝] NN의 꽃 RNN 이야기
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 단편적인 데이터보다는 연속적인 데이터가 많다. 이전에 것들을 알아야 기존의 것을 이해할 수 있는 것을 sequence data 라고 말한다. 이전의 결과가 영향을 미칠 수 있어야함. 그래야 series가 됨 현재 state가 다음 state에도 영향을 미친다. ( 계산할 때 이전의 연산들이 영향을 미친다. ) 상태를 계산하고, 그것이 자기입력이 되는 것이다. 한 step이전의 state가 들어감. 매 스탭마다 모든 RNN에 대해서 function과 parameters(..
![[모두의 딥러닝] CNN Class, Layers, Ensemble](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F9918A8335C343DED34)
[모두의 딥러닝] CNN Class, Layers, Ensemble
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다좋은 강의 감사드립니다!https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5 Class & layer를 사용하여 CNN을 조금 간단하게! 초기화를 먼저 해준다. 그리고 네트워크를 빌드하는 모듈을 만든다. High - level의 API이다.이를 layer를 사용함으로써 쉽게 할 수 있다. 똑같은 표현이긴 함! dense를 사용하면 모든 작업을 한 줄에 넣을 수 있다. 여러 개의 모델을 training 시키고, 새로운 데이터가 들어왔을 때 각각 모두가 예측후에 이 결과를 조합하는 것이다. 그리고 이 결과를 최종적으로 내놓게 된다! 모델을 여러개 ..