확률 분포 — 서로 어떻게 이어져 있는가

분포를 하나씩 외우면 열 개가 넘어가는 순간 무너진다. 한 분포에서 조건을 극단으로 밀면 다른 분포가 된다는 것을 알고 나면 외울 것이 두어 개로 줄어든다.

이산 분포

베르누이 — 한 번 던진다

$x$ 는 참/거짓.

$$P(x) = p^x (1-p)^{1-x} \qquad E(X) = p \qquad \mathrm{Var}(X) = p(1-p)$$

이항 — 시행 횟수를 $n$ 으로 늘린다

$x$ = 조건이 이루어진 횟수.

$$P(x) = \binom{n}{x} p^x (1-p)^{n-x} \qquad E(X) = np \qquad \mathrm{Var}(X) = np(1-p)$$

기하 — 처음 성공할 때까지

$x$ = 최초 조건까지의 반복 횟수.

$$P(x) = p(1-p)^{x-1} \qquad E(X) = \frac{1}{p} \qquad \mathrm{Var}(X) = \frac{1-p}{p^2}$$

음이항 — 실패가 $r$ 번 나올 때까지

$r \to 1$ 이면 기하분포로 돌아간다.

$$P(x) = \binom{x+r-1}{x} p^x (1-p)^r \qquad E(X) = \frac{r(1-p)}{p} \qquad \mathrm{Var}(X) = \frac{r(1-p)}{p^2}$$

푸아송 — $n \to \infty$, $p \to 0$, $np = \lambda$ 고정

$$P(x) = \frac{\lambda^x e^{-\lambda}}{x!} \qquad E(X) = \lambda \qquad \mathrm{Var}(X) = \lambda$$

기댓값과 분산이 같다는 것이 푸아송의 표식이다. 실제 데이터의 분산이 평균보다 훨씬 크면 푸아송 가정이 깨진 것이다(과산포).

초기하 — 복원하지 않고 뽑는다

$M$ 개 중 $k$ 개가 조건을 만족할 때 $n$ 개를 뽑아 그 중 조건을 만족하는 수가 $x$.

$$P(x) = \frac{\binom{k}{x}\binom{M-k}{n-x}}{\binom{M}{n}} \qquad E(X) = \frac{nk}{M}$$ $$\mathrm{Var}(X) = n\cdot\frac{k}{M}\cdot\frac{M-k}{M}\cdot\frac{M-n}{M-1}$$

마지막 항 $\frac{M-n}{M-1}$ 이 유한모집단 수정계수다. 복원추출이면 이 항이 사라지고 이항분포의 분산이 된다. 모집단이 아주 크면 이 값이 1 에 가까워지므로 초기하는 이항에 수렴한다.

원본에는 분산 앞이 $N$ 으로 적혀 있었는데 표본 크기 $n$ 이 맞다. 옮기며 바로잡는다.

다항 — 결과가 둘이 아니라 $k$ 개

$$P(x_1, x_2, \dots) = \frac{n!}{x_1! x_2! \cdots} p_1^{x_1} p_2^{x_2}\cdots \qquad E(X_i) = np_i \qquad \mathrm{Var}(X_i) = np_i(1-p_i)$$

각 칸만 떼어 보면 이항분포다.

연속 분포

연속균등

$$P(x) = \frac{1}{b-a} \qquad E(X) = \frac{a+b}{2} \qquad \mathrm{Var}(X) = \frac{(b-a)^2}{12}$$

지수 — 다음 사건까지의 대기 시간

$\lambda$ 는 단위 시간당 빈도.

$$P(x) = \lambda e^{-\lambda x} \qquad E(X) = \frac{1}{\lambda} \qquad \mathrm{Var}(X) = \frac{1}{\lambda^2}$$

감마 — 지수를 $\alpha$ 번 겹친 것

$$f(x; \alpha, \lambda) = \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x} \qquad E(X) = \frac{\alpha}{\lambda} \qquad \mathrm{Var}(X) = \frac{\alpha}{\lambda^2}$$

$\alpha = 1$ 이면 지수분포다.

정규 · 표준정규

$$f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right)$$ $$f(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) \qquad E(X) = 0 \qquad \mathrm{Var}(X) = 1$$

표본에서 나온 세 분포

이 셋은 “데이터가 따르는 분포”가 아니라 검정통계량이 따르는 분포다. 성격이 다르다.

t 분포 — 평균 비교

표준정규를 카이제곱의 제곱근으로 나눈 것이다.

$$T = \frac{Z}{\sqrt{V/v}} \qquad Z \sim N(0,1),\; V \sim \chi^2(v)$$ $$f(x) = \frac{\Gamma\!\left(\frac{v+1}{2}\right)}{\sqrt{v\pi}\,\Gamma\!\left(\frac{v}{2}\right)} \left(1 + \frac{x^2}{v}\right)^{-\frac{v+1}{2}}$$

기댓값은 $v > 1$ 일 때 0, 분산은 $v > 2$ 일 때 $\frac{v}{v-2}$ 이고 $1 < v \le 2$ 이면 $\infty$ 다.

표본이 30 이하면 t분포, 30 이상이면 표준정규분포를 쓴다. 자유도가 커지면 t 가 정규로 수렴하기 때문이지 30 이라는 숫자에 이론적 의미가 있는 것은 아니다.

카이제곱 분포 — 분산, 적합도

$$f(x; k) = \frac{1}{2^{k/2}\Gamma(k/2)} x^{k/2-1} e^{-x/2} \qquad E(X) = k \qquad \mathrm{Var}(X) = 2k$$

표준정규를 제곱해 더한 것이므로 분산의 분포다.

F 분포 — 분산 대 분산

두 카이제곱의 비다. 그래서 군내 분산과 군간 분산을 견주는 분산분석에서 쓴다. $k_2 > 2$ 일 때 기댓값은 $\frac{k_2}{k_2 - 2}$.

이어지는 그림

베르누이 ──(시행 n번)──→ 이항 ──(n→∞, p→0, np=λ)──→ 푸아송
   │                        │                          │
   │                   (비복원 추출)                (x=0, 구간 t)
   ↓                        ↓                          ↓
 기하 ←──(r→1)── 음이항    초기하                     지수
                                                       │
                                                  (α번 겹침)
                                                       ↓
                                                     감마

표준정규 ──(제곱합)──→ 카이제곱 ──(둘의 비)──→ F
    └──────(카이제곱으로 나눔)──────→ t

수율 함수를 유도해 보기

이 부분은 시험 범위가 아니라 일하면서 필요해서 직접 따라간 것이다. 위의 연결 고리가 실제로 쓰이는 예이기도 하다.

불량이 발생하는 상황을 이항분포로 놓는다.

$$P(x) = \binom{n}{x} p^x (1-p)^{n-x}$$

그런데 수율을 다룰 때는 시행이 사실상 무한 반복이고 불량률은 매우 작다. 즉 $n \to \infty$, $p \to 0$ 이므로 푸아송으로 넘어간다.

$$P(x) = \frac{\lambda^x}{x!}e^{-\lambda}$$

푸아송은 “대기 구간 동안 $x$ 번 일어날 확률”이므로, 구간을 $t$ 로 넓히면 $\lambda$ 자리에 $\lambda t$ 가 들어간다. 수율은 그 구간에서 불량이 한 번도 일어나지 않을 확률, 즉 $x = 0$ 이다.

$$P(0) = \frac{(\lambda t)^0}{0!}e^{-\lambda t} = e^{-\lambda t}$$

지수분포의 형태가 그대로 나온다. 여기서 $\lambda t$ 는 1회 시행의 평균 불량 확률로 해석할 수 있고, 실제 공정에서는 이렇게 잡힌다.

$$\lambda t = \frac{D_0 \;(\text{PNL 1장당 불량 수})}{\text{Unit per PNL}}$$

분포를 따로따로 외웠다면 나오지 않았을 식이다. 이항 → 푸아송 → 지수의 연결을 알고 있었기 때문에 수율 함수가 왜 지수 형태인지 이해할 수 있었다.