#KL발산
3편
- VAE — 압축하는 법에서 만들어 내는 법으로오토인코더는 도형을 90% 알아볼 수 있게 복원하지만, 표준정규분포에서 뽑은 코드를 넣으면 27.5%만 도형이 나온다. 코드가 원점에서 평균 4.4만큼 떨어진 채 흩어져 있기 때문이다. KL 벌점으로 코드를 원점 근처에 모은 VAE는 66.7%를 뽑아냈다. 다만 벌점을 세게 걸수록 좋아지는 것은 아니었다. β=10에서는 코드가 정보를 거의 잃어 흐린 평균만 나왔다
- 지식 증류 — 무엇이 옮겨지는가, 그리고 언제 이기는가큰 모델의 확률 분포로 작은 모델을 가르치면 좋아진다고 알려져 있다. 그런데 라벨이 충분한 상황에서는 이득이 없었고 작은 학생에게는 오히려 1.8%p 손해였다. 증류가 크게 이긴 곳은 따로 있었다 — 라벨 720개짜리 학생에게 라벨 없는 데이터 7,200개를 교사와 함께 주니 43.3%가 81.9%가 됐다. 진짜 라벨 7,200개를 받은 학생(82.9%)과 거의 같다
- 엔트로피와 KL 발산 — 분포로 가르친다는 것우리가 매일 쓰는 교차엔트로피 손실은 사실 두 조각의 합이다 — 어쩔 수 없는 불확실성(엔트로피)과 내 분포가 틀린 만큼(KL). 실제로 1.2838 = 1.2668 + 0.0170로 딱 맞았다. 그리고 KL은 거리가 아니다. 순서를 바꾸니 1.2181이 1.5852가 됐다