#지연

• 추론 서빙 — 처리량과 지연, 그리고 빈자리배치를 1에서 256으로 키우자 처리량이 223배가 됐는데 한 사람의 대기는 1.1배밖에 늘지 않았다. 한 글자씩 뱉는 구간은 계산이 아니라 가중치를 읽어 오는 데 묶여 있어서다 — 같은 GPU가 질문을 읽을 땐 105 TFLOP/s, 혼자 한 글자를 뱉을 땐 0.3 TFLOP/s였다. 350배 차이다. 그래서 자리를 채우는 일이 전부인데, 정적 배칭은 슬롯의 20%만 쓰고 있었다2026-09-23

← 태그 전체