#logsumexp
1편
- 소프트맥스와 교차 엔트로피 — 분류는 무엇을 줄이나분류 모델의 손실은 거의 언제나 소프트맥스 뒤의 교차 엔트로피다. 그 기울기는 '예측 확률 빼기 정답'이라는 한 줄이 된다. 확신하며 틀린 상태에서 시작하면 MSE 는 60에폭 내내 찍기 수준(8.3%)에 갇혔고 교차 엔트로피는 90.5% 까지 빠져나왔다. 식 그대로 쓴 소프트맥스는 fp16 에서 로짓 11.09 를 넘으면 무너진다. 다 맞힌 뒤에도 교차 엔트로피는 확신을 키우기를 멈추지 않고, 라벨 스무딩은 정해진 간격 4.69 에서 멈춘다