#VAE
2편
- VAE — 압축하는 법에서 만들어 내는 법으로오토인코더는 도형을 90% 알아볼 수 있게 복원하지만, 표준정규분포에서 뽑은 코드를 넣으면 27.5%만 도형이 나온다. 코드가 원점에서 평균 4.4만큼 떨어진 채 흩어져 있기 때문이다. KL 벌점으로 코드를 원점 근처에 모은 VAE는 66.7%를 뽑아냈다. 다만 벌점을 세게 걸수록 좋아지는 것은 아니었다. β=10에서는 코드가 정보를 거의 잃어 흐린 평균만 나왔다
- 정규분포 다루기 — 잡음의 덧셈과 재매개변수화확산 모델과 VAE가 서 있는 두 가지 사실. 정규분포끼리 더하면 표준편차가 아니라 분산이 더해지고(3+4=5), 그래서 400번 더한 잡음을 한 번에 계산할 수 있다. 그리고 난수를 밖에서 뽑아 식에 넣으면 기울기가 그대로 흐른다 — 같은 표본 수로 흔들림이 21배 작았다