📗강의노트
[KOCW 선형대수] 5강. 벡터공간과 열벡터공간
제 5강. 벡터공간과 열벡터공간미지수 = 방정식 => Unique or No-Solution미지수 > 방정식 => Infinitely or Many SolutionsVector Spaces and SubspacesSpace : Set closed under addition & scalar multiplication 원소갖는 집합, 덧셈 닫힘 / scala 곱 닫힘 ( 닫힘 = 포함, 가능 )for any vectors X,Y∈ℝnfor any scalar C∈ℝnX,Y∈𝕍{X+Y∈𝕍CX∈𝕍C1X+C2Y∈𝕍 (V는 벡터공간)A real vector space ℝn(n-dimmensional)(1) x+y=y+x(2) $ x + ( y + z ) = ( x + y ) + z(3) There is a uniq..
[KOCW 선형대수] 4강. 역행렬과 전치행렬
제 4강. 역행렬과 전치행렬Inverse ( 역행렬 )Ax=b−>A−1b=xAA−1=A−1A=I모든 A행렬이 역행렬을 가지는 것은 아니다!det(A)≠0 일 때 행렬 A에 대해 역행렬이 존재한다.(1) The Inverse (A−1) existsElimination이 n_pivots를 만들어 낼 때, ( Diagnoal element ≠ 0 )(2) The Inverse is unique!A−1=B,A−1=C(BA)C=B(AC)=>C=B결국 행렬 A에 대한 역행렬은 하나만 존재한다.(3) If A is invertible행렬 A의 역행렬이 있을 때,Ax=bA−1Ax=A−1bx=A−1b(하나만 나옴)결국 x도 unique하다! ( 1:1 대응관계를 유지한다 ) linear 관계에서 입력, 출력신호를 1:1..
[핸즈온 머신러닝] 제 4장 연습문제 풀이
Hands on Machine-LearningPart.4 - Training Model1. 수백만 개의 특성을 가진 훈련 세트에서는 어떤 선형 회귀 알고리즘을 사용하나요?보통은 확률적 경사 하강법(SGD), 미니배치 경사 하강법을 사용한다. 훈련 세트의 크기가 메모리에 맞다면 배치 경사 하강법도 가능하다. 하지만 정규방정식은 계산 복잡도가 "특성의 갯수"에 따라 매우 빠르게 증가하기에 사용할 수 없다.=> 확률적 경사 하강법(SGD), 미니배치 경사 하강법, 배치 경사 하강법 O / 정규방정식 X2. 훈련 세트에 있는 특성들이 각기 다른 스케일을 갖고 있다. 이런 데이터에 잘 작동하지 않는 알고리즘은? 그 이유는? 문제 해결은 어떻게 하는가?길쭉한 타원형의 비용함수가 형성된다. 경사하강법 (GD) 알고리..
![[핸즈온 머신러닝] 제 4장 정리](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F992535355C662D8C22)
[핸즈온 머신러닝] 제 4장 정리
Jupyter Notebook Markdown 이용해서 수식, 코드 입력하고 HTML출력해서 포스팅하는게 더 편리하네요! Part. 4 Model Training 정리Keyword선형 회귀 :ŷ =θ0+θ1x1+θ2x2+⋯+θnxnŷ : 예측값 n : 특성의 수 θ : 모델 파라미터ŷ =h0(x)=θT•xθ : 모델 파라미터T는 행벡터를 의미x는 샘플의 특성 벡터MSE :MSE(X,h0)=1m∑i=1m(θT•x(i)−y(i))2가설 - 실제의 제곱들의 합의 평균 => 평균 제곱 오차라고 불린다.정규방정식 :비용 함수를 최소화하는 θ를 찾기 위한 해석적인 방법이다.θ̂ =(XTX)−1•XT•yθ̂ : 비용 함수를 최소화하는 θ의 값y : y(1) ~ y(m) 까지 포함하는 타깃 벡터X : 훈련 세트계..
![[KOCW 선형대수] 3강. LU분할](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99D91D485C61A1071A)
[KOCW 선형대수] 3강. LU분할
3강. LU분할¶1.4 Matrix Notation and multiplication⎧⎩⎨⎪⎪2u+v+w=5 4u−6v=−2 −2u+7v+2w=9 ⎡⎣⎢⎢2 4 −21−67102⎤⎦⎥⎥⎡⎣⎢⎢uvw⎤⎦⎥⎥=⎡⎣⎢⎢5−29⎤⎦⎥⎥이를 Coefficient Matrix라고도 부른다 (계수만 가져와서)u⎡⎣⎢⎢24−2⎤⎦⎥⎥+v⎡⎣⎢⎢1−67⎤⎦⎥⎥+w⎡⎣⎢⎢102⎤⎦⎥⎥=⎡⎣⎢⎢5−29⎤⎦⎥⎥이를 Ax=b 의 형태로 볼 수 있다. Ax는 A의 열에 대한 Combination이다.Coefficients는 x의 성분에 해당한다.bi=∑nj=1aijxij => sigma-notationElimentary matrix in elimination stepsE21=⎡⎣⎢⎢1 −l21 0010001⎤⎦⎥⎥이 식을 통해 ..
[KOCW 선형대수] 2강. 1차 연립방정식과 가우스소거법
2강. 1차 연립방정식과 가우스소거법1.1 Introduction : How to solve linear equations with n unknowns?(1) : Elimination{x+2y=34x+5y=6(4x+5y=6)−4∗(x+2y=3)=>−3y=−6=>y=2,x=−1 (2) : Determinantsy=[1436][1425]=2 x=[3625][1425]=−1보통은 Elimination method가 Determinants 보다 자주 사용된다!1.2 Geometry of Linear Equations도형의 특성을 이용한 것 Lines(선) ( 2 unknowns ), planes(평면) ( 3 or more unknowns ){2x−y=1x+y=5(1) row equations : 교점 찾기2개..