#모드붕괴
1편
- GAN — 속이는 쪽과 가려내는 쪽생성기가 봉우리 8개 중 4개만 만들 때, 판별기는 이론이 말하는 대로 겹치는 봉우리에서 0.34, 빠진 봉우리에서 1.00 을 냈다. 그런데 학습은 균형에 달려 있었다. 기본 설정은 8개 중 7.6개를 만들었지만, 판별기를 5배 자주 학습시키면 1.2개로 무너졌고(표본의 98.9% 는 진짜 같았다) 판별기를 느리게 하면 2.4개였다. 파라미터 2개짜리 GAN 은 2,000스텝이 지나도 평형에 닿지 못했고, 기울기 벌점을 넣자 500스텝 안에 닿았다