#디코딩

• 디코딩과 샘플링 — temperature·top-p가 하는 일모델은 다음 토큰의 '확률'만 준다. 그걸 실제 토큰으로 고르는 게 디코딩이다. 온도를 0.2→3으로 올리자 분포가 뾰족(top-1 0.96)에서 평평(0.27)으로 퍼졌고, 늘 최고만 고르는 그리디는 24-주기 루프에 갇혀 반복률이 92%까지 치솟았다(샘플링은 44%). top-p는 긴 꼬리의 헛토큰을 잘라, 다양성은 그대로 두고 헛토큰만 1.6배 줄였다2026-09-21

← 태그 전체