#정규화
2편
- 정규화와 잔차 — 깊이를 견디는 법트랜스포머 층 해부 편까지 층을 쌓았지만, 왜 깊게 쌓아도 학습이 되는지는 건너뛰었다. 잔차 연결이 없으면 초기 그라디언트가 입력쪽 블록에서 0으로 언더플로(끝/첫 10^27배)했고, 정규화가 없으면 부분층 입력 분산이 1에서 6으로 표류했다. 그리고 같은 잔차·정규화라도 넣는 위치가 갈랐다 — 깊이 64에서 post-norm 손실이 pre-norm의 11배로 무너졌다
- CS229 머신러닝 팁 치트시트를 다시 쓴다 — R² 는 잡음만 넣어도 오른다지표·교차검증·편향분산·정규화. 지표가 좋아졌다는 말이 왜 증거가 아닌지 숫자로 확인했다