#모델수프
2편
- 모델 병합 — 가중치를 평균내도 되는 이유각자 86.4%와 87.2%인 멀쩡한 두 모델의 가중치를 반씩 섞자 11.1%가 됐다. 찍기가 8.3%인 과제다. 그런데 같은 출발점에서 갈라진 두 모델은 섞어도 무너지지 않고 88.0%가 나왔다. 같은 출발점을 공유하느냐가 전부를 가른다. 검증으로 골라 담은 수프는 최고 개별 모델보다 0.6%p 높았고, 추론 비용은 여전히 모델 한 개였다
- 앙상블 — 여러 번 세는 것의 값어치똑같이 만든 모델 8개는 각자 83% 남짓인데 확률을 평균내자 84.4%가 됐다. 이득은 평균 실력이 아니라 틀리는 자리가 서로 다른 데서 나온다. 전원이 틀리는 8.3%가 천장이다. 그런데 같은 파라미터 예산을 큰 모델 하나에 쓰면 87.3%로 앙상블을 이겼다 — 앙상블이 확실히 이긴 건 정확도가 아니라 캘리브레이션이었다