#모델압축
1편
- 가지치기와 복권 가설 — 가중치의 90% 를 지워도 되는 이유다 배운 망에서 작은 가중치 90% 를 지우고 다시 학습하면 정확도가 78.9% 에서 74.4% 로만 내려간다. 같은 수를 무작위로 지우면 44.8% 다. 여러 번에 나눠 지우며 초기값으로 되감으면 10.7% 만 남기고도 78.8% 가 나오는데, 같은 마스크에 초기값만 새로 뽑으면 64.9% 로 떨어진다. 다만 0 을 채워 둔 행렬은 조금도 빨라지지 않았다(4.83ms 대 4.93ms). 뉴런을 통째로 지운 쪽이 9배 빨랐다