#순환심도
2편
- 잠재 반복 vs 토큰 사슬 — 추가 계산을 세로로 넣을 것인가 가로로 넣을 것인가같은 블록으로 같은 문제를 세로(잠재 반복)와 가로(토큰 사슬)로 풀어 맞대 봤다. 정확도는 둘 다 100%로 같았고, 든 값은 블록 2배·토큰 0 대 192개로 갈렸으며, 중간 생각은 한쪽만 그냥 읽혔다. 아스트라와 페이블의 공개 수치가 정확히 그 지문을 남긴다
- 루프 트랜스포머 — 깊이를 파라미터가 아니라 시간으로 사는 법GPT-6 아스트라가 쓴다고 알려진 순환 심도(recurrent depth). 논문 구조를 축소 재현해 재보니, 블록 하나(61K)가 12층(602K)과 똑같은 100%를 냈고 학습 때 6바퀴만 돌아 본 모델이 14바퀴를 돌려 배운 적 없는 깊이를 풀었다