#고차원
2편
- 립시츠 상수 — 입력을 조금 밀면 출력이 얼마나 밀리나적대적 예제 편의 적대적 예제가 왜 당연한지. 같은 크기로 밀어도 방향에 따라 출력 변화가 다르고, 기울기 방향은 무작위 방향의 몇 배다. ε=0.8에서 무작위 섭동은 정확도를 91.0%로 두는데 기울기 방향은 19.2%로 무너뜨렸다. 그런데 층별 특이값을 곱한 상한은 8층에서 실제보다 1151배 느슨했다
- 고차원의 기하 — 무작위 벡터는 왜 거의 직교한가임베딩·벡터 검색·중첩이 전부 이 한 가지 사실에 기댄다. 차원이 커질수록 아무 두 벡터나 거의 직각이 된다 — 유사도의 폭이 1/√D로 줄어드는 것을 쟀다(D=2에서 0.706, D=2048에서 0.022). 그래서 64차원에 16,384개의 방향을 서로 겹치지 않게 욱여넣을 수 있다