#학습률
1편
- 하이퍼파라미터 탐색 — 격자보다 무작위, 그리고 많이 고를수록 생기는 착시학습률과 가중치 감쇠를 무작위로 400번 뽑아 학습했더니, 결과의 분산 중 86.3% 를 학습률이 설명했고 가중치 감쇠는 0.8% 였다. 그래서 같은 16번의 예산으로 4×4 격자는 평균 41.7%, 무작위 16개는 49.4% 를 찾았다. 격자는 학습률을 4가지만 시험하기 때문이다. 그리고 400개 중 최고였던 57.3% 는 같은 설정을 시드만 바꿔 다시 학습하자 평균 49.3% 였다. 많이 견줄수록 승자의 점수는 부풀어 있다