#커버리지
1편
- 답이 얼마나 길까 — 평균이 아니라 열에 아홉을 예측하는 법Claude의 답변이 토큰을 얼마나 쓸지 실행 전에 예측하는 오픈소스 도구 Token Forecaster가 공개됐다. 핵심은 평균 대신 90번째 백분위수를 예측하는 것이고, 모자란 토큰 1개를 남는 토큰의 9배로 치는 손실이 정확히 그 값을 고른다. 재 보니 평균으로 예측하면 77%만 덮었고, 전부 합친 p90은 전체로는 90%를 덮으면서도 사고를 켠 답은 73%밖에 못 덮었다. 남의 데이터로 맞춘 선은 내 습관이 다르면 71%까지 떨어졌지만, 내 데이터 300건으로 다시 90%를 찾았다