#다중비교
2편
- 평가 — 벤치마크 점수는 얼마나 믿을 수 있나실력이 정확히 75%인 모델도 100문항에서는 66%에서 83% 사이 아무 점수나 나왔다. 실력이 1%p 앞선 모델이 100문항 시험에서 지는 일이 43.5%나 됐다. 그리고 실력이 완전히 같은 두 모델을 벤치마크 10개에서 겨루게 하니 99.9%의 확률로 어느 한 곳에서는 이겼다 — 평균 4.21%p 차이로
- 표본 오차 — 몇 개를 재야 믿을 수 있나벤치마크 점수, A/B 테스트, 사용자 평가가 전부 같은 산수 위에 있다. 비율의 오차는 1/√n이라 정밀도를 2배로 하려면 표본이 4배 필요하고(실측 2.00배씩 줄었다), 똑같은 두 대상을 20번 비교하면 66.2%의 확률로 '우연한 유의미'가 나온다