📗강의노트/핸즈온 머신러닝
[핸즈온 머신러닝] 제 15장 연습문제 풀이
Exercise Part.15AutoEncoder1. 오토인코더를 활용할 수 있는 주요 작업은 무엇인가요?특성추출, 비지도 사전훈련, 차원 축소, 생성 모델, 이상치 탐지2. 레이블되지 않은 훈련 데이터는 많지만, 레이블된 데이터는 수천 개 정도만 가지고 있을 때 분류기를 훈련시키려 합니다. 오토인코더가 어떻게 도움이 될 수 있을 까요? 어떻게 작업하면 될까요?전체에 대해 사전훈련 시키고 하위층의 파라미터를 복사하여 지도에 사용한다. 그리고 출력단에 softmax로 레이블을 출력한다.3. 오토인코더가 완벽하게 입력을 재구성했다면, 이것이 반드시 좋은 오토인코더인가요? 오토인코더의 성능을 어떻게 평가할 수 있나요?완벽히 복사하면 의미가 없다. 유용한 특성을 학습한 것이 아니기 때문이다. 재구성 손실을 봐도..
![[핸즈온 머신러닝] 제 15장 정리](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99D557345D32A27336)
[핸즈온 머신러닝] 제 15장 정리
15강. 오토인코더 AutoEncodoer :비지도로 입력 데이터의 효율적인 표현인 coding을 학습할 수 있는 신경망이다. 간단하게 생각해보면 입력을 출력으로 복사하는 것 뿐이다. Encoder : 입력을 내부 표현으로 바꿔준다. ( recognition network )Decoder : 내부 표현을 출력으로 바꿔준다. ( generative network )출력과 입력의 개수는 동일해야한다. 재구성 (Reconstruction) 손실 :오토인코더가 입력을 재구성하기 때문에 출력을 종종 재구성이라고 한다. 비용 함수는 재구성(출력)이 입력과 다를 때 모델에 패널티를 부과하는 ‘재구성 손실’을 포함한다.# Outputs = 출력 / X = 입력 # MSE / Cross-Entropy..
[핸즈온 머신러닝] 제 14장 연습문제 풀이
Exercise Part.14RNN1. 시퀀스-투-시퀀스 RNN을 사용한 애플리케이션에는 어떤 것들이 있나요? 시퀀스-투-벡터 RNN과 벡터-투-시퀀스 RNN은 어떤가요?시퀀스-투-시퀀스 : 날씨 예측, 기계 번역, 비디오 캡션 생성, 스피치 투 텍스트, 음악 생성, 노래의 화음 식별시퀀수-투-벡터 : 음악 샘플을 장르로 구분하기, 책 후기에 대한 감성분석벡터-투-시퀀스 : 이미지 캡션 생성, 일련의 파라미터를 기반으로 한 멜로디 생성, 사진 속에서 보행자 위치 찾기2. 왜 자동 번역에 시퀀스-투-시퀀스 RNN 대신 인코더-디코더 RNN을 사용하나요?문장을 번역할 때, 단어 단어 해석하는 것 보다 문장을 읽고 전체적으로 해석하는 것이 더 성능이 좋기 때문이다. 인코더-디코더는 문장을 먼저 읽고 번역을 하..
[핸즈온 머신러닝] 제 14장 정리
14강. 순환 신경망RNN :순환 뉴런은 타임 스텝마다 X(t)(입력), yt−1 (이전 타임 스텝의 출력)을 입력으로 받는다.하나의 샘플에 대한 순환 층의 출력은 다음과 같다.y(t)=ϕ(WTx⋅X(t)+WTy⋅y(t−1)+b)여기서 ϕ는 활성화 함수 역할을 한다.Memory cell :어떤 상태를 보존하는 신경망의 구성 요소를 말한다. 일반적으로 타임 스텝 t에서의 셀의 상태 h(t)는 다음과 같다.h(t)=f(h(t−1),X(t))deep RNN :셀을 여러 층으로 쌓는 것을 말한다. 여러개의 셀을 만들어서 MultiRNNCell로 쌓아올린다. states는 각 층마다의 마지막 상태를 말한다.LSTM (Long-Short Term Memory) :훈련이 빠르게 수렴하고 데이터에 ..
[핸즈온 머신러닝] 제 13장 연습문제 풀이
Exercise Part.13CNN1. 이미지 분류에서 완전 연결 DNN보다 CNN이 나은 점은 무엇인가요?CNN은 많은 가중치를 재사용하기 때문에 DNN보다 적은 파라미터를 가지기에 속도가 빠르다. 그리고 과대적합의 위험을 줄이며 더 적은 훈련 데이터를 필요로 한다. 그리고 CNN이 어떤 특성을 감지할 수 있는 커널을 학습하면 이미지의 어느 위치에 있는 특성이라도 감지할 수 있다. 반면 DNN은 특정 위치에 존재해야 인지를 한다. DNN은 픽셀이 어떻게 조직되어 있는지 모른다. 즉 주변의 픽셀이 비슷한지 알지 못한다, 하지만 CNN은 이 정보를 내포한다. 하위층은 작은 영역에 있는 특성을 구별하고, 상위층은 저수준 특성을 더 큰 특성으로 연결한다. 그래서 이미지에서는 CNN을 주로 사용한다.2. 3X3..
[핸즈온 머신러닝] 제 13장 정리
13강. 합성곱 신경망Convolutional Layer :합성곱층이라고 한다. 이는 한 함수가 다른 함수 위를 이동하면서 원소별 곱셈의 적분을 계산하는 수학 연산을 수행하는 층이다.Zero padding :이전 층의 높이와 너비를 같게 하기 위해 입력의 주위에 0을 추가하는 것이 일반적이다.Stride :연속된 두개의 receptive field 사이의 거리를 말한다. ( 필터가 S 칸씩 건너뛴다 )출력의 크기는 다음의 공식을 따른다(N−F)/S+1N : 입력의 크기 ( zero padding있을 경우 +z) / F : 필터의 크기 / S : stride의 크기Feature map :같은 필터들을 사용하여 전체 뉴런의 층은 필터와 유사한 이미지의 영역을 강조하는 맵을 만들게 되는데 ..