#오늘의AI이슈
3편
- 답이 얼마나 길까 — 평균이 아니라 열에 아홉을 예측하는 법Claude의 답변이 토큰을 얼마나 쓸지 실행 전에 예측하는 오픈소스 도구 Token Forecaster가 공개됐다. 핵심은 평균 대신 90번째 백분위수를 예측하는 것이고, 모자란 토큰 1개를 남는 토큰의 9배로 치는 손실이 정확히 그 값을 고른다. 재 보니 평균으로 예측하면 77%만 덮었고, 전부 합친 p90은 전체로는 90%를 덮으면서도 사고를 켠 답은 73%밖에 못 덮었다. 남의 데이터로 맞춘 선은 내 습관이 다르면 71%까지 떨어졌지만, 내 데이터 300건으로 다시 90%를 찾았다
- GPU 120만 개 — 고장이 일상이 되는 규모의 산수머스크가 xAI의 Colossus 2를 연말까지 엔비디아 칩 120만 개 넘게 늘리겠다고 했다. GPU 한 개는 평균 5.8년에 한 번 멈추지만, 120만 개를 묶으면 평균 2.5분마다 어딘가 멈춘다. 이 전부를 한 작업으로 돌리고 고장마다 체크포인트로 되돌아가면, 최적 주기를 골라도 효율은 11.5%다. 저장을 10초로 줄이고 재시작을 1분으로 줄이자 48.4%까지 올라왔다
- Meta 뮤즈 — 대신 해 주는 에이전트는 언제 물어봐야 하나메타가 9월 8일 개인 AI 에이전트 뮤즈를 내놓고 9월 23일 커넥트에서 전용 기기와 쇼핑·예약 연동을 발표했다. 대신 결제하고 대신 예약하는 순간 새 질문이 생긴다 — 언제 사람에게 물어야 하나. 재 보니 매 단계 묻는 방식은 8번 중 7.36번이 헛물음이었고, 확신이 낮을 때만 묻자 0.77번으로 99.7%를 지켰다. 그런데 확신이 어긋나면 성공률이 85.2%로 떨어지면서 묻는 횟수까지 줄어든다