#확산모델
2편
- 확산 모델 — 잡음에서 되돌아오는 법망가뜨리기는 쉽고 되돌리기는 어렵다. 확산 모델은 그 어려운 쪽을 잘게 쪼개 '조금 망가진 것을 조금 되돌리기' 400개로 바꾼다. 봉우리 8개를 모두 고르게 덮었고(11.6~13.4%, 실제 데이터가 12.0~12.9%) 모드 붕괴가 없었다. 그리고 샘플링 스텝을 400에서 20으로 줄이니 19배 빨라지면서 품질은 거의 그대로였지만, 2스텝에서는 분포가 통째로 무너졌다
- 정규분포 다루기 — 잡음의 덧셈과 재매개변수화확산 모델과 VAE가 서 있는 두 가지 사실. 정규분포끼리 더하면 표준편차가 아니라 분산이 더해지고(3+4=5), 그래서 400번 더한 잡음을 한 번에 계산할 수 있다. 그리고 난수를 밖에서 뽑아 식에 넣으면 기울기가 그대로 흐른다 — 같은 표본 수로 흔들림이 21배 작았다