#배치
2편
- 리틀의 법칙 — 처리량과 지연은 따로 고를 수 없다추론 서빙 편의 '처리량을 올리면 지연이 는다'가 왜 피할 수 없는 거래인지. L = λW를 시뮬레이션으로 확인하고, 이용률이 0.5에서 0.98로 갈 때 체류 시간이 2.0에서 59.6으로 30배가 되는 것을 쟀다. 배치 추론에서는 너무 작아도 너무 커도 손해라 B=8에서 58.4ms로 최소였다
- 추론 서빙 — 처리량과 지연, 그리고 빈자리배치를 1에서 256으로 키우자 처리량이 223배가 됐는데 한 사람의 대기는 1.1배밖에 늘지 않았다. 한 글자씩 뱉는 구간은 계산이 아니라 가중치를 읽어 오는 데 묶여 있어서다 — 같은 GPU가 질문을 읽을 땐 105 TFLOP/s, 혼자 한 글자를 뱉을 땐 0.3 TFLOP/s였다. 350배 차이다. 그래서 자리를 채우는 일이 전부인데, 정적 배칭은 슬롯의 20%만 쓰고 있었다