#스케일링법칙

• 스케일링 법칙 — 파라미터·데이터·계산의 균형모델을 키우면 손실은 N^-0.56, 데이터를 늘리면 D^-0.57의 멱법칙으로 줄었다(로그-로그 직선). 그런데 계산은 유한하다. C≈6ND를 고정하고 배분을 바꾸니 손실에 U자 골짜기가 생겼고, 예산이 10배 커질 때 최적 N과 D가 각각 C^0.42·C^0.58로 함께 자랐다 — 모델만 키우지 말고 데이터도 같이 키우라는 친칠라의 교훈2026-09-21

← 태그 전체