#온라인softmax

• 플래시 어텐션 — IO를 아는 어텐션어텐션은 N×N 점수 행렬을 만들어 메모리를 O(N²) 먹고, 그 읽고 쓰기가 병목이다. 플래시 어텐션은 그 행렬을 통째로 만들지 않고 타일로 나눠 처리한다. 재 보니 N=4096에서 메모리가 129배 줄고 속도는 1.9배 빨랐다. 핵심은 온라인 softmax — 블록별 running max·sum만으로 전체 softmax와 오차 2e-8로 같은 값을 낸다2026-09-22

← 태그 전체