#사전학습
1편
- 전이 학습과 파국적 망각 — 배운 것을 가져가는 값, 그리고 잃는 것다른 과제에서 배운 몸통을 가져오면, 새 과제의 데이터가 클래스당 5장뿐일 때 정확도가 33.4% 에서 76.4% 로 오른다. 데이터가 많아지면 순위가 뒤집혀 몸통까지 고치는 미세조정이 이긴다(95.7%). 대가는 망각이다. 새 과제를 미세조정하자 옛 과제의 정확도가 97.9% 에서 75.3% 로 떨어졌고, 학습 20스텝 만에 40% 까지 내려갔다. 옛 데이터 60장을 섞는 것만으로 95.4% 를 지켰다