#선형어텐션

• 상태공간모델·선형 어텐션 — 어텐션의 O(N²) 대안어텐션은 모든 쌍을 봐 계산이 O(N²)다. 순환 '상태' 하나로 요약하면 O(N)이 된다. FLOPs를 재니 N=4096에서 어텐션이 선형보다 64배 많았다. 선형 어텐션은 running 상태의 재귀와 오차 5e-7로 정확히 같아 상수 메모리로 돈다. SSM h_t=a·h_{t-1}+x_t의 기억 길이는 고유값 a가 정해, a=0.99면 100스텝을 기억했다2026-09-22

← 태그 전체