#distillation
1편
- 지식 증류 — 무엇이 옮겨지는가, 그리고 언제 이기는가큰 모델의 확률 분포로 작은 모델을 가르치면 좋아진다고 알려져 있다. 그런데 라벨이 충분한 상황에서는 이득이 없었고 작은 학생에게는 오히려 1.8%p 손해였다. 증류가 크게 이긴 곳은 따로 있었다 — 라벨 720개짜리 학생에게 라벨 없는 데이터 7,200개를 교사와 함께 주니 43.3%가 81.9%가 됐다. 진짜 라벨 7,200개를 받은 학생(82.9%)과 거의 같다