#적대적예제
2편
- 적대적 예제 — 눈에 안 보이는 변화가 답을 뒤집는다픽셀을 0~1 중 4%만 흔들자 정확도가 85%에서 18.7%로 무너졌다. 그런데 틀린 답에 대한 확신은 93.6%로 오히려 높았다. 같은 크기를 무작위 방향으로 주면 85%가 그대로였으니 문제는 크기가 아니라 방향이다 — 정답 점수가 깎이는 양이 10배 차이였다. 그리고 무작위 잡음으로 증강해도 방어가 안 됐다
- 립시츠 상수 — 입력을 조금 밀면 출력이 얼마나 밀리나적대적 예제 편의 적대적 예제가 왜 당연한지. 같은 크기로 밀어도 방향에 따라 출력 변화가 다르고, 기울기 방향은 무작위 방향의 몇 배다. ε=0.8에서 무작위 섭동은 정확도를 91.0%로 두는데 기울기 방향은 19.2%로 무너뜨렸다. 그런데 층별 특이값을 곱한 상한은 8층에서 실제보다 1151배 느슨했다