#신뢰구간
3편
- 평가 — 벤치마크 점수는 얼마나 믿을 수 있나실력이 정확히 75%인 모델도 100문항에서는 66%에서 83% 사이 아무 점수나 나왔다. 실력이 1%p 앞선 모델이 100문항 시험에서 지는 일이 43.5%나 됐다. 그리고 실력이 완전히 같은 두 모델을 벤치마크 10개에서 겨루게 하니 99.9%의 확률로 어느 한 곳에서는 이겼다 — 평균 4.21%p 차이로
- 표본 오차 — 몇 개를 재야 믿을 수 있나벤치마크 점수, A/B 테스트, 사용자 평가가 전부 같은 산수 위에 있다. 비율의 오차는 1/√n이라 정밀도를 2배로 하려면 표본이 4배 필요하고(실측 2.00배씩 줄었다), 똑같은 두 대상을 20번 비교하면 66.2%의 확률로 '우연한 유의미'가 나온다
- 빅데이터를 위한 확률과 통계 — 현장에서 쓰던 것들의 이름 찾기확률·확률분포·정규분포·기술통계·표본분포·추정·가설검정까지 7주치 정리