#온도
2편
- 지식 증류 — 무엇이 옮겨지는가, 그리고 언제 이기는가큰 모델의 확률 분포로 작은 모델을 가르치면 좋아진다고 알려져 있다. 그런데 라벨이 충분한 상황에서는 이득이 없었고 작은 학생에게는 오히려 1.8%p 손해였다. 증류가 크게 이긴 곳은 따로 있었다 — 라벨 720개짜리 학생에게 라벨 없는 데이터 7,200개를 교사와 함께 주니 43.3%가 81.9%가 됐다. 진짜 라벨 7,200개를 받은 학생(82.9%)과 거의 같다
- 엔트로피와 KL 발산 — 분포로 가르친다는 것우리가 매일 쓰는 교차엔트로피 손실은 사실 두 조각의 합이다 — 어쩔 수 없는 불확실성(엔트로피)과 내 분포가 틀린 만큼(KL). 실제로 1.2838 = 1.2668 + 0.0170로 딱 맞았다. 그리고 KL은 거리가 아니다. 순서를 바꾸니 1.2181이 1.5852가 됐다