#연쇄법칙
2편
- 역전파 — 기울기를 한 번에 다 구하는 법파라미터가 2만 2천 개인 망에서 수치미분으로 기울기를 구하면 12초가 걸리고, 역전파로 구하면 0.8밀리초가 걸린다. 값은 소수 열 번째 자리까지 같다. 역전파가 공짜는 아니다. 순전파의 중간값을 전부 기억해야 해서, 층을 하나 쌓을 때마다 학습 메모리가 그 층 출력 크기인 2.0MB씩 늘었다
- 야코비안 — 다변수 함수의 '기울기 행렬'딥러닝 곳곳에 나오는 야코비안을 한 장으로. 야코비안은 벡터를 벡터로 보내는 함수의 '모든 편미분을 모은 행렬'이자, 그 점에서 가장 좋은 선형근사다. 해석식·자동미분·유한차분 세 방법이 오차 1e-8로 일치했고, 합성함수의 야코비안이 정확히 '야코비안의 곱'임을 확인했다 — 이것이 역전파와 그라디언트 소실의 뿌리다