#특이값
2편
- 립시츠 상수 — 입력을 조금 밀면 출력이 얼마나 밀리나적대적 예제 편의 적대적 예제가 왜 당연한지. 같은 크기로 밀어도 방향에 따라 출력 변화가 다르고, 기울기 방향은 무작위 방향의 몇 배다. ε=0.8에서 무작위 섭동은 정확도를 91.0%로 두는데 기울기 방향은 19.2%로 무너뜨렸다. 그런데 층별 특이값을 곱한 상한은 8층에서 실제보다 1151배 느슨했다
- 저계수 행렬과 SVD — 큰 행렬을 작게 쪼개기LoRA·압축·추천 곳곳에 나오는 '저계수'와 SVD를 한 장으로. SVD는 어떤 행렬이든 회전·스케일·회전으로 쪼개, 큰 특이값 몇 개가 행렬의 '에너지 대부분'을 담는다. 참 계수 5인 80×60 행렬에서 rank 5 근사가 상대오차 2%로 4800개 수를 700개로 줄였다