#SSM
2편
- 상태공간모델·선형 어텐션 — 어텐션의 O(N²) 대안어텐션은 모든 쌍을 봐 계산이 O(N²)다. 순환 '상태' 하나로 요약하면 O(N)이 된다. FLOPs를 재니 N=4096에서 어텐션이 선형보다 64배 많았다. 선형 어텐션은 running 상태의 재귀와 오차 5e-7로 정확히 같아 상수 메모리로 돈다. SSM h_t=a·h_{t-1}+x_t의 기억 길이는 고유값 a가 정해, a=0.99면 100스텝을 기억했다
- 고유값·고유벡터 — 반복 곱의 운명SSM 기억·그라디언트 소실·조건수의 공통 뿌리. 고유값은 행렬이 '크기만 바꾸는' 방향(고유벡터)의 배율이다. 행렬을 반복해서 곱하면 결과는 가장 큰 고유값 방향으로 쏠리고 크기는 λ^t로 변한다 — 재 보니 15번 곱에 정렬 0.58→1.0, 크기비가 최대 고유값 1.69에 수렴했다