#PMI
1편
- word2vec — 이웃을 맞히다 보면 뜻이 좌표가 된다단어의 뜻을 한 번도 알려 주지 않고, 옆에 어떤 단어가 오는지만 맞히게 했다. 그러자 "왕_여 − 왕_남 + 의사_남"에 가장 가까운 단어가 의사_여가 됐다. 유추 정확도는 4차원부터 100% 였고, 2차원에서는 58.9% 였다. 학습된 내적은 두 단어가 우연보다 얼마나 자주 함께 나오는지를 재는 PMI 에서 ln k 를 뺀 값과 소수 둘째 자리까지 같았다. 네거티브 샘플링은 어휘 100만 개에서 전체 소프트맥스보다 131배 빨랐다