#RMSNorm

• 정규화와 잔차 — 깊이를 견디는 법트랜스포머 층 해부 편까지 층을 쌓았지만, 왜 깊게 쌓아도 학습이 되는지는 건너뛰었다. 잔차 연결이 없으면 초기 그라디언트가 입력쪽 블록에서 0으로 언더플로(끝/첫 10^27배)했고, 정규화가 없으면 부분층 입력 분산이 1에서 6으로 표류했다. 그리고 같은 잔차·정규화라도 넣는 위치가 갈랐다 — 깊이 64에서 post-norm 손실이 pre-norm의 11배로 무너졌다2026-09-20

← 태그 전체