#생성모델
3편
- VAE — 압축하는 법에서 만들어 내는 법으로오토인코더는 도형을 90% 알아볼 수 있게 복원하지만, 표준정규분포에서 뽑은 코드를 넣으면 27.5%만 도형이 나온다. 코드가 원점에서 평균 4.4만큼 떨어진 채 흩어져 있기 때문이다. KL 벌점으로 코드를 원점 근처에 모은 VAE는 66.7%를 뽑아냈다. 다만 벌점을 세게 걸수록 좋아지는 것은 아니었다. β=10에서는 코드가 정보를 거의 잃어 흐린 평균만 나왔다
- 확산 모델 — 잡음에서 되돌아오는 법망가뜨리기는 쉽고 되돌리기는 어렵다. 확산 모델은 그 어려운 쪽을 잘게 쪼개 '조금 망가진 것을 조금 되돌리기' 400개로 바꾼다. 봉우리 8개를 모두 고르게 덮었고(11.6~13.4%, 실제 데이터가 12.0~12.9%) 모드 붕괴가 없었다. 그리고 샘플링 스텝을 400에서 20으로 줄이니 19배 빨라지면서 품질은 거의 그대로였지만, 2스텝에서는 분포가 통째로 무너졌다
- Jev — 글자를 안 만드는 모델은 왜 수백 배 싼가TypeSafe AI가 텍스트를 전혀 생성하지 않는 'System One' 모델 Jev를 냈다. 상태와 질문을 넣으면 모든 답의 확률을 한 번의 패스로 돌려준다. 왜 200배 빠르고 400배 싼가를 축소 모형으로 쟀다 — 자기회귀 생성 비용은 답 길이 L에 비례해 L=32에서 48배로 벌어졌고, 판별은 1로 평평했다. 분류 정확도는 둘 다 100%로 같았고, 판별은 정의상 파싱 실패가 불가능했다