통계의 지도 — 기술통계와 추론통계, 척도, 그리고 자유도

통계는 두 갈래다

	기술 통계	추론 통계
목적	가진 데이터를 요약한다	표본으로 모집단을 추정한다
대상	손에 있는 것	손에 없는 것

모집단에서 표본을 뽑는 것이 샘플링이고, 표본에서 모수를 되짚는 것이 추론이다. 이 왕복이 통계의 전부라고 해도 크게 틀리지 않는다.

기술 통계 — 세 가지 일

1) 데이터 요약 — 기초 통계량을 산출해 해석한다.

성격	통계량
중심	평균(산술·기하·조화), 중앙값, 최빈값
산포	분산, 표준편차, 평균절대편차, 변동계수, 백분위수
모양	왜도(skewness), 첨도(kurtosis) — 그리고 중심극한정리

2) 표본 추출

방식	기법
확률 표본 추출	단순 무작위, 계통, 층화, 군집
비확률 표본 추출	간편(편의), 판단, 할당, 눈덩이

표본 추출 오차는 두 방향으로 난다 — 과잉(특정 집단에 몰림)과 최소(국소 영역만 봄).

3) 확률 분포 — 이산과 연속으로 모델링한다. 다음 글의 주제다.

추론 통계 — 세 가지 일

갈래	내용
점추정	불편성, 효율성, 일치성, 충분성
구간추정	신뢰구간, 가능도, 재표본화(부트스트랩)
가설검정	귀무가설, 대립가설, 1종 오류, 2종 오류

목적별로 어떤 검정을 쓰는가

이 표 하나가 시험 범위의 절반이다.

목적	무엇을	분석	따르는 분포
비교	평균	z검정	정규분포
	평균	t검정	t분포 (n≥30 이면 정규분포에 근접)
	평균(셋 이상)	분산분석 ANOVA	F분포
	분산	F검정	F분포
	비율	카이제곱검정	$\chi^2$ 분포
관계	강도	상관분석
	형태	회귀분석
신뢰	정도	ICC, 코헨의 카파
검정	정도	검정력 분석

평균을 비교하는데 왜 분산분석이라 부르는지가 늘 걸렸는데, 집단 간 분산과 집단 내 분산의 비로 평균 차이를 판정하기 때문이다. 그래서 F분포를 쓴다.

변수와 척도

질적이냐 양적이냐, 그리고 어디까지 연산이 되느냐로 갈린다.

변수	자료	척도	분류	순서	등간	절대 0	비교 방법	대표값	분석 방법	가능한 연산
질적	명목형	명목	O				확인·분류	최빈값	빈도분석, 비모수통계, 교차분석	—
	순위형	서열	O	O			순위 비교	중앙값	서열상관, 비모수통계	`<`, `>`
양적	이산·연속형	등간	O	O	O		상대적 크기	산술평균	모수통계	`+`, `-`
	이산·연속형	비율	O	O	O	O	절대적 크기	기하·조화평균	모수통계	모든 연산

절대 0 이 있느냐가 등간과 비율을 가른다. 섭씨 온도는 0도가 “없음”이 아니므로 등간이고, 그래서 “20도는 10도의 두 배”라고 말할 수 없다. 무게는 0kg 이 없음이므로 비율이고, 두 배라고 말할 수 있다.

평균 · 편차 · 분산 · 표준편차

모집단 $[X_0, X_1, \dots, X_{n-1}]$ 에 대해,

\mu = \frac{1}{n}\sum_{i=0}^{n-1} X_i \qquad D(X_i) = X_i - \mu

V(X) = \frac{1}{n}\sum_{i=0}^{n-1}(X_i - \mu)^2 \qquad \sigma = \sqrt{V(X)}

편차를 그냥 더하면 0 이 되므로 제곱해서 더한다. 제곱했으니 단위가 달라져서 다시 제곱근을 씌운 것이 표준편차다. 순서가 이렇게 정해진 데는 이유가 있다.

자유도 — 몇 개가 자유로운가

자유도는 독립적으로 정할 수 있는 변수의 개수다. 모든 변수 중 몇 개를 정하고 나면 나머지는 따라 결정된다.

x + y + z = 0

변수는 셋이지만 $x, y$ 를 정하는 순간 $z$ 는 자유를 잃는다. 그래서 $f = 2$ 다.

왜 표본분산은 $n-1$ 로 나누는가

편(bias) = 추정량 − 모수이고, 편이 0 인 추정량을 불편추정량이라 한다.

모집단 (모수)	표본 (표본통계량 = 추정량)
모평균 $\mu$	표본평균 $\bar{X}$
모분산 $V$	표본분산 $S^2$
모표준편차 $\sigma$	표본표준편차 $S$

표본평균은 그냥 두어도 불편이다.

E[\bar{X}] - \mu = 0

그런데 표본분산을 모분산과 같은 방식으로 $n$ 으로 나누면 모분산보다 작게 나온다. 표본의 값들이 모평균이 아니라 자기들의 평균 주위에 모여 있기 때문이다. 이 과소평가를 정확히 메우는 값이 $n-1$ 이다.

S^2 = \frac{1}{n-1}\sum_{i=0}^{n-1}(X_i - \bar{X})^2

원본 슬라이드에는 이 식의 안쪽이 $(X_i - \mu)$ 로 적혀 있었다. 모평균을 안다면 $n$ 으로 나누는 것이 맞으므로, $n-1$ 로 나누는 이유 자체가 $\bar{X}$ 를 쓴다는 데 있다. 옮기며 바로잡는다.

자유도로 설명하면 이렇다 — $\bar{X}$ 를 계산하는 데 이미 정보 하나를 썼으므로, 남은 자유도는 $n-1$ 이다.

여백에 적어 둔 생각

당시 슬라이드 끝에 “유의차를 이렇게 보면 더 깔끔하지 않나(vs p-value)“라고 적고 이런 식을 남겨 뒀다.

\frac{|a - b|}{\overline{(\sigma_a, \sigma_b)}}

두 집단의 평균 차이를 표준편차의 평균으로 나눈 값이고, 0~1 사이로 보려 했던 것 같다. 지금 보니 이건 효과 크기(effect size), 정확히는 Cohen’s d 를 다시 발명한 것이다.

d = \frac{\bar{X}_1 - \bar{X}_2}{s_{\text{pooled}}}

당시의 문제의식은 옳았다고 생각한다. p-value 는 표본이 커지면 아무 차이나 유의해지므로 “차이가 있느냐”만 말하고 “얼마나 크냐”는 말해 주지 않는다. 효과 크기를 같이 봐야 하는 이유가 그것이다. 다만 분모는 표준편차의 산술평균이 아니라 자유도로 가중한 합동표준편차를 쓰는 것이 표준이다.