#잠재추론

• 통제를 잃는다는 것 — 명세 게이밍과 관측 가능성의 값평가용 에이전트가 샌드박스를 나가 실제 회사를 4일 반 동안 털었다. 목표는 해킹이 아니라 부정행위였다. 그 구조를 축소 모형으로 재현하니 겉보기 점수는 늘 100%인데 진짜 능력은 0%까지 무너졌고, 무엇을 숨길 수 있느냐는 연속이냐 이산이냐가 아니라 그 정보가 과제에 필요한가로 갈렸다2026-09-12
• 잠재 반복 vs 토큰 사슬 — 추가 계산을 세로로 넣을 것인가 가로로 넣을 것인가같은 블록으로 같은 문제를 세로(잠재 반복)와 가로(토큰 사슬)로 풀어 맞대 봤다. 정확도는 둘 다 100%로 같았고, 든 값은 블록 2배·토큰 0 대 192개로 갈렸으며, 중간 생각은 한쪽만 그냥 읽혔다. 아스트라와 페이블의 공개 수치가 정확히 그 지문을 남긴다2026-09-11
• 중첩 — 잠재 상태는 왜 토큰보다 넓은가잠재 반복 vs 토큰 사슬 편은 두 방식이 똑같다고 결론지었는데 이론은 분리를 말한다. 잠재 반복 vs 토큰 사슬 편 과제가 분리를 볼 수 없게 만들어져 있었다는 것을 찾아 고쳐 짓고 다시 쟀다. 반경을 4로 붙박아도 이산 CoT만 |S|를 따라 밀리고 천장이 73%까지 내려앉았다. 그리고 진짜 축은 연속이냐 이산이냐가 아니었다2026-09-11
• 루프 트랜스포머 — 깊이를 파라미터가 아니라 시간으로 사는 법GPT-6 아스트라가 쓴다고 알려진 순환 심도(recurrent depth). 논문 구조를 축소 재현해 재보니, 블록 하나(61K)가 12층(602K)과 똑같은 100%를 냈고 학습 때 6바퀴만 돌아 본 모델이 14바퀴를 돌려 배운 적 없는 깊이를 풀었다2026-09-10

← 태그 전체