개발차
[핸즈온 머신러닝] 제 11장 연습문제 풀이
Exercise Part.11Training Deep Neural Network1. He 초기화를 사용하여 무작위로 선택한 값이라면 모든 가중치를 같은 값으로 초기화해도 괜찮을까요?¶아니다. 모든 가중치는 독립적으로 샘플링되어야 한다. 즉 같은 초깃값을 가지면 안된다. 가중치를 무작위로 샘플링하는 중요한 한 가지 목적은 대칭성을 피하기 위함이다.2. 편향을 0으로 초기화해도 괜찮을까요?아무런 상관이 없다. 편향을 가중치처럼 초기화해도 괜찮다. 그렇게 큰 차이를 만들지 않는다.3. ReLU보다 ELU 활성화 함수가 나은 세 가지는 무엇인가요?(1) 음수를 받을 수 있어서 뉴런의 평균출력이 보다 더 0에 가깝다.(2) 도함수가 항상 0이 아니다. dead ReLU현상을 피할 수 있다.(3) ReLU의 기울기..
[핸즈온 머신러닝] 제 11장 정리
11장. 심층 신경망 훈련Vanishing Gradient : backpropagation이 진행됨에 따라, 그레디언트가 점점 작아지는 경우(0에 가까워짐, 반대의 경우는 Gradient Exploding)Xavier initialization : 평균이 0이고 표준편차 σ=2ninputs+noutputs‾‾‾‾‾‾‾‾‾‾√ELU : ELUα(z)=α(exp(z)−1) if z가 0보다 작을 때 / ELUα(z)=z if z가 0보다 크거나 같을 때z가 0이하여도 그레디언트가 0이 아니라 죽은 뉴런을 만들지 않는다. 하지만 ReLU보다 계산할 때와 테스트 시에 느리다.Batch Normalization : Gradient Vanishing & Exploding을 해결하기 위해 나왔다...
![[논문읽기] 04. R-CNN : Rich feature hierarchies for accurate object detection and semantic segmentation Tech report](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F997F55425CD83FC003)
[논문읽기] 04. R-CNN : Rich feature hierarchies for accurate object detection and semantic segmentation Tech report
"Region Proposal X CNN"0. AbstractR-CNN은 2가지 아이디어를 기반으로 탄생했다.(1) localize와 object segment를 위해 high-capacity CNN을 상향식으로 region proposal을 적용할 수 있다. (region proposal + CNN)(2) labeled된 training data가 부족할 때, domain 기반으로 fine-tuning거친 사전 지도학습(pre-trained)을 이용해서 성능을 매우 높일 수 있다. (pre-trained + fine-t..
![[논문읽기] 03. Deep Neural Networks for Object Detection](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F996790335CCD560B24)
[논문읽기] 03. Deep Neural Networks for Object Detection
“ DNN, 객체 인식의 시작 ”0. AbstractDNN(Deep Neural Networks)은 image classification에서 뛰어난 성능을 보였다. 이 논문에서는 한 단계 더 나아가서 분류뿐만 아니라, 다양한 클래스의 객체를 localizing하는 것을, DNN을 이용해서 객체를 인지(Object Detection)할 것이다. 조금의 네트워크를 통해 비용 대비 좋은 성능을 내는 것을 Multi-scale 추론이라고 하고 이 과정을 통해 Object Detection을 할 것이다. Pascal VOC 데이터에 대해 성능을 측정할 것 이다.1. Introduction이미지에 대해서 완벽히 이해하기 위해서, 더 정..
[Pandas] Pandas06 - US Baby Names 풀이
US - Baby NamesIntroduction:We are going to use a subset of US Baby Names from Kaggle. In the file it will be names from 2004 until 2014Step 1. Import the necessary librariesIn [29]:import pandas as pd Step 2. Import the dataset from this address.Step 3. Assign it to a variable called baby_names.In [30]:url = 'https://raw.githubusercontent.com/guipsamora/pandas_exercises/master/06_Stats/US_Baby_..
[KOCW 확률통계] 10강. 다중변수 및 연합분포
제 10강. 다중변수 및 연합분포1. Joint CDF of Bivariate R.Vjoint CDF : 𝑃[𝑋≤𝑥,𝑌≤𝑦]=𝐹𝑥𝑦(𝑥,𝑦) marginal CDF : 𝐹𝑥(𝑥),𝐹𝑌(𝑦) 1-1. Properties of joint CDF(1) 0≤𝐹𝑋𝑌(𝑥,𝑦)≤1 (2) if 𝑥1≤𝑥2 and 𝑦1≤𝑦2 하나를 고정해도 값은 커진다. 𝐹𝑋𝑌(𝑥1,𝑦1)≤𝐹𝑋𝑌(𝑥2,𝑦1)≤𝐹𝑋𝑌(𝑥2,𝑦2) 𝐹𝑋𝑌(𝑥1,𝑦1)≤𝐹𝑋𝑌(𝑥1,𝑦2)≤𝐹𝑋𝑌(𝑥2,𝑦2) (3) lim𝑥,𝑦−>∞𝐹𝑋𝑌(𝑥,𝑦)=𝐹𝑋𝑌(∞,−∞)=1 (4) lim𝑥−>∞𝐹𝑋𝑌(𝑥,𝑦)=𝐹𝑋𝑌(∞,𝑦)=0 lim𝑦−>∞𝐹𝑋𝑌(𝑥,𝑦)=𝐹𝑋𝑌(𝑥,−∞)=0 (5) lim𝑥−>𝑎+𝐹𝑋𝑌(𝑥,𝑦)=𝐹𝑋𝑌(𝑎,𝑦) lim𝑥−>𝑏+𝐹𝑋𝑌(𝑥,𝑦)=𝐹..