#가중치감쇠
2편
- 과적합과 규제 — 외우지 못하게 막는 것과 모르는 것을 가르치는 것도형 180장으로 파라미터 40만 개짜리 망을 학습시키자 100스텝 만에 학습 정확도 100%, 시험 정확도는 19%에서 멈췄다. 교과서의 처방인 가중치 감쇠와 드롭아웃은 10배로 세게 걸어도 19% 그대로였다. 데이터 증강만 77%까지 끌어올렸다. 모자랐던 것은 외울 수 있는 양을 줄이는 제약이 아니라 도형은 옮겨도 같은 도형이라는 지식이었다
- 그로킹과 이중 하강 — 일반화는 언제 오는가학습 데이터를 600스텝 만에 전부 외운 모델이 시험에서는 0%였다. 그리고 4.5배를 더 돌린 뒤 갑자기 100%가 됐다. 가중치 감쇠를 빼자 25,000스텝을 돌려도 시험은 0%에 머물렀다 — 그로킹을 만든 것은 데이터도 시간도 아니라 '작은 해로 가라'는 압력이었다. 모델 크기 쪽에도 같은 이상함이 있다