[모두의 딥러닝] Hi Hello RNN

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

다음 글자를 예측하는 것 매우 쉬워보이지만

h일때 i가 나올 때도 있고 e가 나올 때도 있다. 

5개한 유니크한 문자 ( 단어가 몇 개 있느냐 )

Onehot encoding으로 문자를 바꿀 수 있다. 

입력 dim과 출력 dim / batch / sequence length를 정해야함 

Input_dim = 5

Sequence_length = 6 ( 박스의 갯수 )

Hidden_size = 5 ( 문자열로 나와야하기 때문! )

Batch_size = 1 (문자가 1개밖에 주어지지 않았기 때문! )

먼저 cell을 만드는데 기본적인 BasicRNN을 사용할 수도 있고, LSTM / GRU를 사용할 수 있다. 

Rnn_size = 5 ( 출력값의 크기 )

 

One-hot으로 문자를 표현 

여기서 hidden size는 input dim과 동일하다. 

X, Y placeholder의 shape을 지정해준다.

( batch_size / seq length / hidden_size )

Batch size를 None으로 지정한 것은 몇 개여도 상관없다라는 것을 의미한다. 

sequence를 받아들여 cost함수를 만든다. 

( 예측, true data, W )

W은 보통 [1,1,1] -> 가중치가 똑같다. 

1으로 예측한 확률이 더 클 수록 Loss가 줄어듬!

outputs를 바로 넣는 것은 좋지 않지만, 이것은 이후에 다루기로 한다.

One-hot결과를 다시 문자로 뿌려서 결과를 출력할 수 있다.