개발차
[Numpy] Numpy 연습문제 51~60
51. Create a structured array representing a position (x,y) and a color (r,g,b) (★★☆)(hint: dtype)In [4]:Z = np.zeros(10,[('position',[('x',float,1), ('y',float,1)]), ('color', [('r',float,1), ('g',float,1), ('b',float,1)])]) Z Out[4]:array([((0., 0.), (0., 0., 0.)), ((0., 0.), (0., 0., 0.)), ((0., 0.), (0., 0., 0.)), ((0., 0.), (0., 0., 0.)), ((0., 0.), (0., 0., 0.)), ((0., 0.), (0., 0., 0.)), ..
[핸즈온 머신러닝] 제 6장 연습문제 풀이
Exercise Part. 6Decision Tree1. 백만 개의 샘플을 가진 훈련 세트에서 (규제 없이) 훈련시킨 결정 트리의 깊이는 대략 얼마일까요?m개의 리프 노드를 포함한 균형이 잘 잡힌 이진 트리의 깊이는 log2(m)을 반올림한 것과 같다. log2(m)=log(m)/log(2) 이진 결정 트리를 제한을 두지 않고 훈련시키면 훈련 샘플마다 하나의 리프 노드가 되므로 어느 정도 균형이 잘 잡힌 트리가 된다. 따라서 훈련 세트에 백만 개 샘플이 있다면 결정 트리의 깊이는log2(106)=20이 될 것이다.2. 한 노드의 지니 불순도가 보통 그 부모보다 작을까요, 아니면 클까요? 일반적으로 작거나 클까요, 아니면 항상 작거나 클까요?한 노드의 지니 불순도는 일반적으로 부모의 불순도 보다 낮다. 이..
[핸즈온 머신러닝] 제 6장 정리
Part 6. Decision Tree 정리Keyword결정 트리 ( Decision Tree ) :분류와 회귀, 다중출력 작업 모두 가능하다.데이터 전처리가 거의 필요하지 않다. 특히 특성의 스케일을 맞추거나 평균을 원점에 맞추는 작업이 필요하지 않다.계산 복잡도 :O(n×mlog(m))루트 노드 :깊이가 0인 맨 꼭대기 노드리프 노드 :자식을 가지지 않는 노드지니 불순도 ( gini impurity ) :한 노드의 모든 샘플이 같은 클래스에 속해 있다면 이 노드는 순수 (gini=0)하다고 함 즉, 샘플이 다른 클래스에 속해있을 확률! 다음과 같이 구할 수 있다,Gi=1−∑k=1npi,k2pi,k는 i번째 노드에 있는 훈련 샘플 중 클래스 k에 속한 샘플의 비율이다!화이트 박스와 블랙박스 :화이트 박..
![[KOCW 선형대수] 7강. 벡터의 선형독립과 기저벡터](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99205D3D5C6E63BF16)
[KOCW 선형대수] 7강. 벡터의 선형독립과 기저벡터
제 7강. 벡터의 선형독립과 기저벡터~이어서Ax=b(≠0) 일 때, ⎡⎣⎢⎢1 2 −136−3393274⎤⎦⎥⎥⎡⎣⎢⎢⎢⎢u v w z⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢b1 b2 b3⎤⎦⎥⎥ 첫 번째 G.E를 하면 ⎡⎣⎢⎢⎢1 0 0300336236⋮⋮⋮b1b2−2b1b1+b3⎤⎦⎥⎥⎥ 그리고 3번째식을 다 0으로 만들어주면 ⎡⎣⎢⎢⎢1 0 0300330230⋮⋮⋮b1b2−2b1b3−2b2+5b1⎤⎦⎥⎥⎥ b3−2b2+5b1=0 -> Solution이 종재한다.Ax=b b∈ℂ(A)(linear combination이고) / column vector A에 존재해야한다. Coulmn vector들의 조합이 평면위의 점이 되야한다. b=⎡⎣⎢⎢1 2 −1⎤⎦⎥⎥ Column space = 3개의 숫자는 평면의 점이다.-> ..
![[CS231n] 4. Introduction to Neural Networks](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F995B174E5C6E317D12)
[CS231n] 4. Introduction to Neural Networks
Backpropagation and Neural Networks Computational graph를 사용해서 함수를 표현하게 됨으로써 backpropagation이라고 부르는 기술을 사용할 수 있게 된다. backpropagation은 gradient를 얻기위해 computational graph 내부의 모든 변수에 대해 chain rule을 재귀적으로 사용한다. 첫 번째는, 항상 Computational graph로 그리는 것. x+y 덧셈 노드를 q라고 부르자 q,f의 gradient를 구한다 ( 각각 편미분 ) 그리고 우리가 찾기 원하는 것은 x,y,z 각각에 대한 f의 gradient이다. Chain rule에 의거해 뒤에서 부터 gradient 계산을 시작한다. f에 대한 y의 gradient..
![[CS231n] 3. Loss Functions and Optimization](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99767F355C6CD6000D)
[CS231n] 3. Loss Functions and Optimization
최적의 W를 구하기 W가 좋은지 나쁜지를 정량화 할 방법이 필요하다. W를 입력으로 받고 각 스코어를 확인하여 평가하는 것이 “ Loss Function(손실 함수) ”이다. 가장 덜 나쁜 W를 구하는 과정이고, 이를 “ 최적화 “ 라고 부른다. “ Hinge Loss “ S_j는 예측된 스코어이다. x축은 S_Yi 로 실제 정답 클래스의 스코어이다. Y 축은 Loss이다. ( 여기서는 Safety margin = 1 이다 ) -> 우리는 스코어가 정확히 몇인지는 신경쓰지 않는다. 스코어간의 상대적인 차이를 알고싶어 한다. (온라인 코스노트) 정답 클래스를 제외한 다른 클래스들에 대해 손실함수를 계산 ( 정답이면 0이기에 ) 여기서 Loss 는 0 ~ ∞ 까지..