#Xavier

• 가중치 초기화 — 첫 걸음의 크기20층 ReLU 망에 표준편차 0.01로 가중치를 뿌리면 신호가 층마다 0.11배로 줄어 20층 뒤 10⁻²⁰이 된다. 기울기도 10⁻¹⁹이라 학습이 한 발짝도 나가지 않았다. 분산을 2/n으로 맞추면(He) 20층 뒤에도 0.51이 남고 67.4%까지 배운다. 그리고 모든 가중치를 같은 값으로 두면 뉴런 256개가 끝까지 하나처럼 움직였다2026-09-25

← 태그 전체