#GELU
1편
- 활성화 함수 — 층 사이의 꺾임 하나가 하는 일활성화 함수를 빼면 8층 망은 행렬 하나와 같아서 정확도가 25.8% 에 머물고, ReLU 하나를 넣으면 73.1% 가 된다. 시그모이드는 미분이 0.25를 넘지 못해, 20층 망에서 입력 쪽 층의 기울기가 출력 쪽의 1조분의 1(1.6×10⁻¹²)로 줄었고 학습은 찍기 수준에서 움직이지 않았다. 학습률이 크면 ReLU 뉴런의 절반이 꺼졌는데, 예상과 달리 Leaky ReLU 도 같은 만큼 꺼지고 되살아나지 못했다