[모두의 딥러닝] RNN Basics

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

활용도가 가장 높은 방법임!

이번의 output이 다음의 cell에 연결이 된다!

두 가지 값, outputs, states를 도출하게 된다. 

“학습"과 “구동"을 나눠서 방법을 자유자재로 변경할 수 있다. 

기존의 방법이 마음에 들지 않았을 때, 학습의 방법만 변경하여 그대로 실행할 수 있다. 

먼저 one-hot encoding으로 표현하는 것이 좋다. 

입력의 dimension은 4가 될 것 이다. output의 dim은 마음대로 설정할 수 있다. Hidden_size를 무엇으로 정했는지 따라서 출력의 dim이 달라진다. (Hidden_size = 출력의 크기 )

Shape = (A,B,C)

C : one-hot-encoding했을 때의 dim의 크기

 

 

만들어낸 cell을 구동시킨다!

Shape = (A,B,C)

B : (문자열) 한 번에 sequence data를 몇개를 받을 것 인지 ( sequence length )

    알아서 펼쳐내고 output의 sequence도 똑같이 따라간다. 

    입력의 모양에 따라서 달라진다

x_data에 지정할 때 직접 vector들을 다 입력하여 sequence를 정할 수 있다. h/e/l/l/o로 즉,sequence length는 5가 된다.

Shape = (A,B,C)

A : batch_size

학습을 시킬 때 한 줄 씩, 문자열 하나씩 한다면 매우 비효율적일 것이다. 

그래서 이를 효율적으로 하기 위해서는 sequence를 여러개 주는 것이다. 

이를 batch_size라고 한다. data를 여러개 주는 것이다!

A,B는 그대로 output에 따라가고 C는 hidden_size를 따라 output에서 바뀐다.