#라그랑주승수

• 역전파 없이 1,000층? — 라그랑주 승수가 오차를 '파도'로 바꾸는 법사카나 AI가 층마다 이웃과만 신호를 주고받는 국소 규칙(PC-ALM)으로 역전파와 같은 기울기를 만들고, 1,000층 망도 역전파에 2%p 안쪽으로 학습된다고 소개했다. 예측 부호화의 오차가 왜 '물 번지듯' 느리게 퍼지는지, 라그랑주 승수 하나가 왜 그것을 '파도'로 바꾸는지, 왜 추론 스텝이 딱 2L 인지를 작은 실험 네 개로 직접 쟀다2026-09-15

← 태그 전체