728x90
반응형
Sung Kim 님의 "모두의 딥러닝" 강의노트입니다
좋은 강의 감사드립니다!
https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5
다음 글자를 예측하는 것 매우 쉬워보이지만
h일때 i가 나올 때도 있고 e가 나올 때도 있다.
5개한 유니크한 문자 ( 단어가 몇 개 있느냐 )
Onehot encoding으로 문자를 바꿀 수 있다.
입력 dim과 출력 dim / batch / sequence length를 정해야함
Input_dim = 5
Sequence_length = 6 ( 박스의 갯수 )
Hidden_size = 5 ( 문자열로 나와야하기 때문! )
Batch_size = 1 (문자가 1개밖에 주어지지 않았기 때문! )
먼저 cell을 만드는데 기본적인 BasicRNN을 사용할 수도 있고, LSTM / GRU를 사용할 수 있다.
Rnn_size = 5 ( 출력값의 크기 )
One-hot으로 문자를 표현
여기서 hidden size는 input dim과 동일하다.
X, Y placeholder의 shape을 지정해준다.
( batch_size / seq length / hidden_size )
Batch size를 None으로 지정한 것은 몇 개여도 상관없다라는 것을 의미한다.
sequence를 받아들여 cost함수를 만든다.
( 예측, true data, W )
W은 보통 [1,1,1] -> 가중치가 똑같다.
1으로 예측한 확률이 더 클 수록 Loss가 줄어듬!
outputs를 바로 넣는 것은 좋지 않지만, 이것은 이후에 다루기로 한다.
One-hot결과를 다시 문자로 뿌려서 결과를 출력할 수 있다.
728x90
반응형