[KOCW 선형대수] 11강. 연합확률밀도함수와 조건부확률밀도함수

제 11강. 연합확률밀도함수와 조건부확률밀도함수

(PMF = Probability mass function, 확률 질량 함수)

(1) Joint PMF ?

$\mathbf{F_{XY}(x,y)}\begin{cases} \frac{1}{8} ....x=1,y=1\\ \frac{5}{8} ....x=1,y=2\\ \frac{1}{4} ....x=2,y=1\\ 1 ....x=2,y=2\\ \end{cases}$

discrete한 경우, $P_{XY}(x,y)$로 표현한다. 다음과 같다면

$P_{XY}(1,1) = \frac{1}{8}$이다.

Continuous한 경우는, $ F_{XY}(x,y)$로 표현한다.

$F_{XY}(1,2) = P_{XY}(1,1) + P_{XY}(1,2)$로 표현이 된다.

(2) Marginal PMF ?

$P_X(x) = \Sigma_y(x,y) = F_{XY}(x,∞)$으로 표현이 된다.

$P_X(1) = P_{XY}(1,1)+P_{XY}(1,2) = \frac{1}{8}+\frac{1}{2} = \frac{5}{8}$
$P_X(2) = P_{XY}(2,1)+P_{XY}(2,2) = \frac{1}{8}+\frac{1}{4} = \frac{3}{8}$
합은 당연히 1이다.

$P_Y(1) = P_{XY}(1,1)+P_{XY}(1,2) = \frac{1}{8}+\frac{1}{8} = \frac{1}{4}$
$P_Y(2) = P_{XY}(2,1)+P_{XY}(2,2) = \frac{1}{2}+\frac{1}{4} = \frac{3}{4}$
합은 당연히 1이다.

5.6 Conditional Distributions

5.6.1 Discrete R.V

$P_{Y|X}(y|x) = \frac{P[X=x,T=t]}{P(X=x)} = \frac{P_{XY}(x,y)}{P_X(x)}$
$P_{X|Y}(x|y) = \frac{P_{XY}(x,y)}{P_Y(y)}$

$F_{X|Y}(x|y) = P[X≤x|Y=y] = \sum_{u≤x} P_{X|Y}(u|y)$
$F_{Y|X}(y|x) = P[Y≤y|X=x] = \sum_{u≤y} P_{Y|X}(u|x)$

5.6.2 Conditional PDF of Continuous R.V

$f_{Y|X}(y|x) = \frac{f_{XY}(x,y)}{f_X(x)}, f_{X|Y}(x|y) = \frac{f_{XY}(x,y)}{f_Y(y)}$

$\rightarrow f(y|x) = \frac{\partial}{\partial y}F(y|X=x) = \frac{\partial}{\partial y}F(Y≤y|X=x)$

$limit_{\Delta x \rightarrow0}\frac{\partial}{\partial y}P(Y≤y|x<X≤x+\Delta x)$

$limit_{\Delta x \rightarrow0}\frac{\partial}{\partial y}\frac{P(Y≤y|x<X≤x+\Delta x)}{P(x<X≤x+\Delta x)}$

다음의 성립하기에 바로 아래 식으로 분모처럼 전개된다.
$F_X(x+\Delta x) - F_X(x) = f_X(x) \Delta x$

$limit_{\Delta x \rightarrow0}\frac{\partial}{\partial y}\frac{F_{XY}(x+\Delta x, y) - F_{XY}(x,y)}{f_X(x) \Delta x}$

$\frac{\partial^2}{\partial y \partial x} = \frac{F_{XY}(x,y)}{f_x(x)} = \frac{f_{XY}(x,y)}{f_X(x)}$

x,y가 서로 independent하다면,

$f_{X|Y}(x|y) = f_X(x), f_{Y|X}(y|x) = f_Y(y)$

$f_{X|Y}(x|y) = f_X(x)f_Y(y)$

5.6.3 Conditional Means & Variances

discrete case일 때,

$u_{Y|X} = E[Y|X=x] = \sum y P_{Y|X}(y|x)$

$\sigma^2_{Y|X} = E[Y^2|X=x] - E[Y|X=x]^2 = u_{Y|X}^2$