모델 평가 지표 — 회귀 · 분류 · 군집 · 연관

회귀

오차를 재는 지표

지표	식	성격
MAE	$\frac{1}{n}\sum \lvert y - \hat{y} \rvert$	단위가 원래 값과 같다. 이상치에 둔감
MSE	$\frac{1}{n}\sum (y - \hat{y})^2$	큰 오차에 민감. 단위가 제곱된다
RMSE	$\sqrt{\frac{1}{n}\sum (y - \hat{y})^2}$	MSE 의 단위를 되돌린 것
MAPE	$\frac{100}{n}\sum \left\lvert \frac{y - \hat{y}}{y} \right\rvert \%$	비율이라 스케일이 다른 문제끼리 비교 가능
RMSLE	로그를 씌운 RMSE	값의 범위가 넓고 과소예측에 더 벌을 주고 싶을 때

MAE 와 MSE 중 무엇을 쓸지는 이상치를 오차로 볼 것이냐 신호로 볼 것이냐에 달렸다. MSE 는 제곱하므로 큰 오차 하나가 전체를 지배한다.

MAPE 는 $y$ 가 0 에 가까우면 폭발한다. 수요 예측처럼 0 이 자주 나오는 데이터에는 못 쓴다.

설명력을 재는 지표

R^2 = \frac{SSE}{SST} = 1 - \frac{SSR}{SST}

R^2_{adj} = 1 - \frac{SSR/(n-k-1)}{SST/(n-1)}

표기에 주의한다. 여기서 $SSE$ 는 회귀로 설명된 제곱합, $SSR$ 은 잔차 제곱합이다. 교재에 따라 이 둘의 뜻이 정반대로 쓰이므로( $SSE$ = Sum of Squared Errors = 잔차), 식을 볼 때마다 어느 쪽인지 확인해야 한다. 위 두 식은 서로 일관된 표기다.

수정 결정계수가 필요한 이유는 변수를 아무거나 더해도 $R^2$ 는 절대 줄지 않기 때문이다. $k$ (변수 수)로 벌을 주어 그 눈속임을 막는다.

회귀의 네 가지 가정과 진단

가정	진단 방법
선형성	산점도
등분산성	잔차 분석 — 잔차에 특정 패턴이 없어야 한다
정규성	Q-Q plot
독립성	더빈-왓슨 통계량 (잔차의 자기상관)

이와 별개로 다중공선성을 VIF 로 본다.

VIF_j = \frac{1}{1 - R_j^2}

$VIF > 10$ 이면 그 변수는 다른 설명변수들로 거의 설명된다는 뜻이라 문제가 된다.

원본 슬라이드는 “독립성 – VIF” 로 적어 두었는데, 이건 두 가지를 섞은 것이다. 회귀 가정의 독립성은 잔차의 독립성이고 더빈-왓슨으로 보며, VIF 는 설명변수 사이의 다중공선성을 본다. 헷갈리기 쉬운 자리라 갈라서 적는다.

분류

혼동 행렬

	실제 Positive	실제 Negative
예측 Positive	TP	FP
예측 Negative	FN	TN

지표	식	무엇을 묻는가
정확도 Accuracy	$\frac{TP+TN}{\text{전체}}$	전체 중 얼마나 맞혔나
정밀도 Precision	$\frac{TP}{TP+FP}$	맞다고 한 것 중 진짜는 얼마나
재현율 Recall	$\frac{TP}{TP+FN}$	진짜 중 얼마나 찾아냈나
F1 score	$\frac{2}{\frac{1}{P}+\frac{1}{R}}$	정밀도와 재현율의 조화평균

정확도만 보면 안 되는 이유는 명확하다 — 불량률이 1% 인 공정에서 전부 “양품”이라고 답하면 정확도가 99% 다. 드문 것을 찾는 문제에서는 재현율이 본질이다.

F1 이 산술평균이 아니라 조화평균인 것도 같은 이유다. 한쪽이 0 에 가까우면 조화평균은 0 으로 끌려간다. 둘 다 높아야만 높게 나온다.

ROC 와 AUC

Y축: 민감도(재현율, TPR)
X축: 1 − 특이도(FPR)

원본에는 X축이 “특이도”로 적혀 있었으나 1 − 특이도가 맞다. 특이도를 그대로 쓰면 곡선의 방향이 반대가 되고 AUC 의 해석도 뒤집힌다.

임계값을 0 에서 1 까지 옮기며 그리는 곡선이고, 아래 면적이 AUC 다. 0.5 면 무작위 추측, 1 이면 완벽이다. 임계값을 정하기 전에 모델 자체의 분별력을 보는 지표라는 점이 핵심이다.

군집

지표	식·기준
외부 평가 (자카드)	$\frac{TP}{TP+FP+FN}$ — 정답 레이블이 있을 때
내부 평가	군간 최소 거리 / 군내 최대 거리 — 클수록 좋다
엘보 기법	SSE 의 감소가 완만해지는 지점의 $k$
실루엣 기법	자기 군집과의 거리 대 가장 가까운 다른 군집과의 거리

군집은 정답이 없는 것이 보통이므로 실제로는 내부 평가와 실루엣을 쓰게 된다.

연관 분석

지표	식	뜻
지지도 Support	$\frac{n(A \cap B)}{N}$	전체 중 A 와 B 가 함께 나온 비율
신뢰도 Confidence	$\frac{n(A \cap B)}{n(A)}$	A 를 산 사람 중 B 도 산 비율 — 조건부 확률
향상도 Lift	$\frac{n(A \cap B) \cdot N}{n(A) \cdot n(B)}$	우연보다 얼마나 더 함께 나오는가

향상도가 필요한 이유는, 신뢰도가 높아도 B 자체가 원래 잘 팔리는 물건이면 의미가 없기 때문이다. 향상도는 그 배경 확률로 나눠 준다.

\text{Lift} > 1 \Rightarrow \text{양의 상관} \qquad \text{Lift} = 1 \Rightarrow \text{독립} \qquad \text{Lift} < 1 \Rightarrow \text{음의 상관}