#암기
2편
- 그로킹과 이중 하강 — 일반화는 언제 오는가학습 데이터를 600스텝 만에 전부 외운 모델이 시험에서는 0%였다. 그리고 4.5배를 더 돌린 뒤 갑자기 100%가 됐다. 가중치 감쇠를 빼자 25,000스텝을 돌려도 시험은 0%에 머물렀다 — 그로킹을 만든 것은 데이터도 시간도 아니라 '작은 해로 가라'는 압력이었다. 모델 크기 쪽에도 같은 이상함이 있다
- 한 번에 풀기의 벽 — 층을 늘려도 안 되는 것순차적인 문제는 층을 더 쌓으면 풀리지 않을까 하고 재 봤더니 틀렸다. 1층에서 8층으로(파라미터 7배) 늘려도 길이 3짜리 순열 합성은 0.8%, 그러니까 무작위 그대로였다. 처음엔 조합이 너무 많아 못 외운 탓이라고 썼는데 그것도 틀렸다 — 조합 수의 8.9배를 학습시켜도 학습 손실이 ln(120)에서 내려오지 않았다. 학습 데이터조차 못 맞힌다, 즉 경사하강이 합성 규칙을 아예 못 찾는다