[모두의 딥러닝] Long Sequence RNN

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

기존에는 손으로 manual을 만들었다. 

위와 같이하면 자동으로 one-hot의 과정을 거칠 수 있다. 

set이라는 명령으로 unique한 문자열을 얻어낼 수 있다. 

x, y_data를 설정할 때 0~n-1 / 1~n까지 설정하여 그 다음 글자를 예측할 수 있도록 한다. 

Idx2char = num_classes이다. 

One.hot으로 만들 때 shape을 잘 살펴야한다.

hyperparameter도 자동으로 바뀌게 할 수 있다,  

GradientDescentOptimizer -> AdamOptimizer 사용

이제 긴 문자열을 입력시켜보자

문장이 길기 때문에, 일정한 sequence를 가지게 잘라주어 x / y data를 나눈다. 

쭉 옮겨가면서 학습시키는 것. 

array에 쭉쭉 쌓아가는 것 

총 169개의 array가 생기는 것 !

 Seq_length는 임의로 설정한 것.

Batch_size는 기존에 한 줄이었어서 계속 1이었지만, 이번에는 데이터가 많기 때문에 전부다 넣는 방법을 택했다. ( 169로 설정 )

X,Y placeholder 설정 -> X_one_hot -> cell -> dynamic_rnn -> W, Loss, Train -> Prediction

해보면 잘 안됨! 왜 안되는 지 파악해보기!  

Logit의 문제에서 미끄럽지 않고 / rnn이 깊지 않다.