728x90

제 07강. 여러가지 이산확률분포

Chevyshev Inequality

$E [(X - \hat{X})^{2}]$ 를 minimize하기 위해 $\hat{X}$ 를 평균으로 고른다

여기서 $\hat{X}$ 로 고른 평균에서부터 얼마나 멀리 떨어져있는지 확률을 말한다.

$P [| X - E [X] | \geq a] \leq \frac{σ_{X}^{2}}{a^{2}}, a > 0$

Special Prob Distributions

Bernoulli Distribution ( 베르누이 분포 )

Random Value X가 Binary하다.

예를 들어,

$P [s u c c e s s] = P$

$P [f a i l u r e] = 1 - P$ 처럼 두 가지 경우로만 나뉘는 것을 말한다.

이 때, $E [X] = P, σ_{X}^{2} = P (1 - P)$ 이다.

Binomial Distribution

베르누이 분포내에서 n번의 시도를 하는데, 성공할 확률이다.

$B (n, p)$ 라고 쓰는데 이는 다음과 같이 풀어쓴다.

$P_{X} (x) = (\binom{n}{x}) P^{x} (1 - P)^{n - x}$

$x = 0, 1, 2, \dots, n$

$\sum_{x = 0}^{n} (\binom{n}{x}) P^{x} (1 - P)^{n - x} = {P + (1 - P)}^{n} = 1$

평균을 구해보자.

$E [X] = \sum_{x = 0}^{n} (\binom{n}{x}) P^{x} (1 - P)^{n - x}$

$= \sum_{x = 0}^{n} x \frac{n!}{(n - x)! x!} P^{x} (1 - P)^{n - x}$

$= \sum_{x = 1}^{n} \frac{n!}{(n - x)! (x - 1)!} P^{x} (1 - P)^{n - x}$

$= \sum_{x = 1}^{n} n p \frac{(n - 1)!}{(n - 1 - (x - 1))! (x - 1)!} P^{x - 1} (1 - P)^{n - 1 - (x - 1)}$

$= n p \sum_{x = 0}^{n - 1} \frac{(n - 1)!}{(n - 1 - x^{'}))! (x^{'})!} P^{x^{'}} (1 - P)^{n - 1 - x^{'}}$

위의 과정에서 $x - 1 = x^{'}$ 로 치환했다.

여기서 $(a + b)^{n - 1}$ 의 이항분포를 참고해보자.

$= \sum_{x = 0}^{n - 1} (\binom{n}{x}) a^{x} b^{n - 1 - x}$

$= \sum_{x = 0}^{n - 1} \frac{(n - 1)!}{(n - 1 - x))! (x)!} a^{x} b^{n - 1 - x}$

위의 바로 치환한 결과와 동일하다.

따라서

$n p {P + (1 - P)}^{n - 1} = n p$ 로 정리가 된다.

분산을 구하기 위해 $E [X^{2}]$ 을 구해보자

$= \sum_{x = 0}^{n} x^{2} (\binom{n}{x}) P^{x} (1 - P)^{n - x}$

$= \sum_{x = 0}^{n} x^{2} \frac{n!}{(n - x)! x!} P^{x} (1 - P)^{n - x}$

$= \sum_{x = 0}^{n} x \frac{n!}{(n - x)! (x - 1)!} P^{x} (1 - P)^{n - x}$

$= \sum_{x = 1}^{n} (x - 1 + 1) \frac{n!}{(n - x)! (x - 1)!} P^{x} (1 - P)^{n - x}$

여기서 두 가지 식으로 나뉘게 된다.

$= \sum_{x = 1}^{n} \frac{(x - 1) n!}{(n - x)! (x - 1)!} P^{x} (1 - P)^{n - x} + \sum_{x = 1}^{n} \frac{n!}{(n - x)! (x - 1)!} P^{x} (1 - P)^{n - x}$

+ 이후의 항은 위의 식을 참고하여 $n p {P + (1 - P)}^{n - 1}$ 로 볼 수 있다.

$= \sum_{x = 0}^{n - 2} \frac{n (n - 1) (n - 2)!}{(n - x)! (x - 2)!} P^{2} (1 - P)^{x - 2} (1 - P)^{n - x} + n p {P + (1 - P)}^{n - 1}$

$= \sum_{x = 0}^{n - 2} \frac{n (n - 1) P^{2} (n - 2)!}{(n - 2 - x)! x!} P^{x} (1 - P)^{n - x - 2} + n p {P + (1 - P)}^{n - 1}$

$= n (n - 1) P^{2} {P + (1 - P)}^{n - 2} + n p {P + (1 - P)}^{n - 1}$

$= n^{2} P^{2} - n P^{2} + n p$

$σ_{X}^{2} = E [X^{2}] - E [X]^{2}$

$= n^{2} P^{2} - n P^{2} + n p - n^{2} P^{2}$

$= n P (1 - P)$

힘겹게 평균과 분산을 구하는 공식을 증명하였다..

Binomial Theorem

${P t + (1 - P)}^{n} = \sum_{x = 0}^{n} (\binom{n}{x}) P^{x} t^{x} (1 - P)^{n - x}$

위 식을 미분하면 다음과 같다.

$n p {P t + (1 - P)}^{n - 1} = \sum_{x = 0}^{n} (\binom{n}{x}) x P^{x} t^{x - 1} (1 - P)^{n - x}$

$t = 1$ 을 대입하면

$n p = \sum_{x = 0}^{n} x (\binom{n}{x}) P^{x} (1 - P)^{n - x} = E [X]$

미분한 식을 한 번 더 미분해보자

$n (n - 1) p^{2} {P t + (1 - P)}^{n - 2} = \sum_{x = 0}^{n} (\binom{n}{x}) x (x - 1) P^{x} (1 - P)^{n - x} t^{x - 2}$

$t = 1$ 을 대입하면

$n^{2} P^{2} - n P^{2} = \sum_{x = 0}^{n} x^{2} (\binom{n}{x}) P^{x} (1 - P)^{n - x} - \sum_{x = 0}^{n} x (\binom{n}{x}) P^{x} (1 - P)^{n - x} = E [X^{2}] - E [X]$

$E [X^{2}] = n^{2} P^{2} - n P^{2} + n p$

$σ_{X}^{2} = E [X^{2}] - E [X]^{2}$

$= n^{2} P^{2} - n P^{2} + n p - n^{2} P^{2}$

$= n P (1 - P)$

이번에도 힘들게 평균과 분산을 구했다... 수학적인 머리가 굳어가는데 더 말랑말랑하게 만들어야겠다..

Geometric Distribution

Random Value X는 첫 번째 성공 까지의 베르누이 분포내에서 시도한 횟수이다.

$P_{X} (x) = P (1 - P)^{x - 1}$

$E [X] = \frac{1}{P}, σ_{X}^{2} = \frac{(1 - P)}{P^{2}}$

Geometric Distribution은 Forgetfulness Property를 따른다.

Forgetfulness (Memoryless) Property

주사위 던지기 사례로 이해해보자.

주사위 눈이 6이 나오도록 하는 것이 목표이다.

하지만 10번을 던졌는데 6이 나오지 않았다. 그렇다면 앞으로 5번 더 던져서 6이 나올 확률은 얼마인가?

또, 5번을 던졌는데 6이 나오지 않았다. 그렇다면 앞으로 5번 더 던져서 6이 나올 확률은 얼마인가?

확률은 매 시도마다 계속 $\frac{1}{6}$ 이다.

즉, 이전의 실패횟수는 중요하지 않고, 이후의 시도에 영향을 미치지 않는다는 것이다. 이것이 Geometric distribution의 특징인 Forgetfulness Property이다.

$P (X = K + n | X > n) = \frac{P (X = n + K \cap X > n)}{P (X > n)}$

지금까지 n번 던졌고, 앞으로 K번 더 던지겠다는 것이다.

$= \frac{P (X = n + K)}{(1 - P (X \leq n)}$

여기서 분모는 다음과 같다.

$\sum_{x = n + 1}^{\infty} (1 - P)^{x - 1} P$

무한등비급수의 공식을 이용하면 $\frac{(1 - P)^{n} P}{1 - (1 - P)} = (1 - P)^{n}$ 으로 나온다.

마저 정리해보면

$= \frac{P (1 - P)^{n + K - 1}}{(1 - P)^{n}} = P (1 - P)^{K - 1}$

$= P_{X} (X = K)$ 가 된다.

결국에 자체가 X=K일 확률을 구하는 꼴이 된다.