[모두의 딥러닝] Neural Nets(NN) for XOR

Sung Kim 님의 "모두의 딥러닝" 강의노트입니다

좋은 강의 감사드립니다!

https://www.youtube.com/watch?v=mQGwjrStQgg&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=5

One logistic regression unit cannot separate XOR !!

하나가 아니라 여러개를 합치게 되면 가능하다!

각각의 W, b 가 학습이 불가하다고 했다. 

3개의 네트워크를 연결시켜서 원하는 output을 얻을 수 있다.

W,b 한 쌍을  Gate or perceptron이라고 부름

사이사이 Sigmoid를 통해 값을 변환해준다.

-> 이를 하나의 네트워크라고 볼 수 있다. 

또 다른 조합의 W,b가 존재할까???

Multinomial을 참고해보면 이 두가지를 하나로 묶을 수 있다. 

수식 -> 앞에 것만 보면 K는 WX+b에 Sigmoid를 취한 형태이다.

뒤에 것만 보면 K가 입력이어서 KW + b에 Sigmoid를 취한 형태가 된다. 

이렇게 최종 hypothesis를 만들 수 있다. 

이제 과연 W1,W2,B1,B2를 어떻게 자동적으로 계산할지가 관건이다!!!

다음 lecture을 통해 알아볼 수 있다. ( Backpropagation )