읽을 가치가 있는 기사만, 짧고 또렷하게.

온폴리 자기 증류(OPSD)는 학생 모델이 자체 샘플링 궤적을 따라 권한 있는 교사 분포를 따르도록 훈련하는 방법입니다. 기존 OPSD는 검증되지 않은 학생 롤아웃에 이 감독을 적용하고 교사를 참조 솔루션과 같은 권한 있는 컨텍스트로 조건화합니다. 연구 결과, 스캐폴드(scaffold)의 정확성이 컨텍스트의 정확성보다 다운스트림 정확도에 더 큰 영향을 미치는 것으로 나타났습니다.

검증되지 않은 스캐폴드는 교사가 학생에게 제공되지 않는 정보를 사용할 수 있게 하여 모방 격차(imitation gap)를 발생시키지만, 이 격차는 모델 규모가 커짐에 따라 줄어듭니다. 반면, 검증된 스캐폴드는 교사를 학생의 실패한 롤아웃에 조건화하더라도 효과를 유지합니다. 이러한 발견을 바탕으로 연구진은 OPSD 목표를 유지하면서 대부분 레이블로 검증된 온폴리 궤적에 감독을 적용하는 OASIS를 제안했습니다.

OASIS는 작성된 해답 대신 모델이 생성한 시도를 교사 컨텍스트로 대체하며 최종 정답 레이블만 필요로 합니다. Qwen3 모델을 AIME 2024, AIME 2025, HMMT 2025와 같은 벤치마크에서 평가했을 때, OASIS는 기본 모델 대비 평균 3.2~3.8점의 성능 향상을 보였습니다. 특히 모델 규모가 커질수록 OPSD의 성능 향상은 1.7B에서 8B로 갈수록 크게 감소하는 반면, OASIS는 8B 모델에서 OPSD보다 3.05점 더 높은 성능을 보여 자기 증류의 효과를 보존함을 입증했습니다.

LoopVL은 Loop Transformer를 비전-언어 모델로 효과적으로 확장할 수 있는지 연구하기 위해 제안된 방법론입니다. 이 모델은 모듈 루프(Module-Loop) 계산과 모델 루프(Model-Loop) 계산을 결합하여 공유 모듈을 통해 통합된 비전-언어 상태를 반복적으로 업데이트합니다.

LoopVL은 언어 사전 학습, 멀티모달 학습, 그리고 후 학습을 통해 처음부터 훈련됩니다. 이 접근 방식은 비반복적 모델보다 멀티모달 이해 및 시각 추론 벤치마크에서 유사하거나 더 큰 모델들을 능가하는 성능을 보였습니다.

또한 연구진은 루프 전반에 걸쳐 시각적 주의가 뚜렷하게 변화하는 시각적 아하 모먼트(Visual Aha Moments)를 관찰했습니다. 이는 공유 파라미터가 지속적으로 진화하는 비전-언어 상태에 걸쳐 더 깊은 멀티모달 계산을 어떻게 지원하는지에 대한 직관적인 관점을 제공합니다.

트랜스포머 언어 모델이 예측을 수행하는 과정에서 표현이 특정 결과에 어떻게 구체화되는지에 대한 연구를 진행했습니다. 연구진은 중간 잔차 상태와 최종 상태, 그리고 다른 맥락에서 얻은 최종 상태들을 비교하여 이 과정을 분석했습니다.

여섯 개의 사전 학습된 언어 모델을 대상으로 분석한 결과, 모델 자신의 최종 지점(endpoint)이 다른 대안보다 초기에 선호되는 경향을 보였으며, 많은 개별 지점들은 여전히 가까운 거리에 머물렀습니다. 이러한 경쟁 집합들은 깊이에 따라 일반적으로 축소되지만, 구성원들이 변화하고 생존하는 최종 지점들이 서로 더 유사해질 필요는 없습니다.

연구는 방향성 정렬과 최종 지점 순위를 개선하면서도 최종 상태까지의 유클리드 거리는 크게 변하지 않는다는 것을 보여줍니다. 또한, 노름, 정렬, 최종 지점 기하학의 역할을 분리하는 간단한 고차원 모델을 개발하여 점진적인 방향 변화가 경쟁을 급격히 줄일 수 있음을 입증했습니다.

나아가, 유클리드 거리나 코사인 거리에 관계없이 자신의 최종 지점으로 향하는 직선 경로는 새로운 경쟁자를 도입할 수 없음을 증명했습니다. 최종적으로, 낮은 순위의 출력 토큰과 관련된 최종 지점들은 모든 연구된 모델에서 코사인 거리상으로 더 멀리 떨어져 있으며, 이는 잔차 기하학을 출력 조직화와 연결합니다.

언어 모델이 컨텍스트에서 실제로 몇 개의 토큰을 사용하는지, 그리고 그 숫자를 결정하는 요인은 무엇인지에 대해 자기 주의(self-attention) 메커니즘을 통해 연구했습니다. 연구진은 모델을 재학습시키지 않고 각 헤드, 레이어, 쿼리에서 가장 높은 주의 가중치를 가진 토큰만을 보존하는 방법을 사용했습니다.

선택된 집합의 크기와 음의 로그 우도(NLL) 증가를 측정하여 특정 손실 허용 범위 내에 머무르는 데 필요한 유효한 주의 집합 크기를 추정했습니다. 비교적 작은 선택 집합도 전체 주의 기준선에 가까운 NLL을 유지할 수 있지만, 이는 모델마다 요구되는 크기가 달라집니다. 주의 기반 선택은 무작위 선택보다 훨씬 우수한 성능을 보이며, 선택된 집합은 기하학적 구조를 나타내지만 기하학적 분리만으로는 모델 손실이 보존됨을 입증하지는 못합니다.

컨텍스트를 확장하면서 동일한 예측 목표를 평가할 경우 필요한 집합 크기가 증가하고, 테스트 범위에 따라 컨텍스트 내 분율은 감소하는 것으로 나타났습니다. 또한, 추가적인 배경 정보는 토큰의 주의 순위를 하향 조정하고 주의 질량(attention mass)을 감소시키는 것으로 실험 결과가 확인되었습니다.

보존된 가중치를 재정규화하면 필요한 집합 크기를 상당히 줄일 수 있으며, 이는 선택된 표현들이 결합되는 방식에 따라 달라짐을 보여줍니다. 이러한 결과는 경쟁과 주의 질량 보존이 더 명확한 정보 없이도 집합 크기를 증가시키는 방식을 설명하는 조건부 이론 모델을 제공합니다. 이는 언어 모델에서 유효한 주의 집합 크기를 측정하고 컨텍스트, 경쟁, 집계의 의존성을 조사하는 방법을 제시합니다.

LLM 연구에서 재현성은 필수적이지만, 기존 연구들은 하드웨어 및 배치 처리 방식에 따른 LLM 출력의 변화를 다루어 왔습니다. 본 연구는 사용자가 통제할 수 없으며 매일 변하는 현재 날짜가 시스템 프롬프트에 숨겨져 주입되는 의외의 요인을 발견했습니다.

연구진은 9개의 최근 LLM과 6개의 데이터셋을 대상으로 다중 선택 QA(MCQA), 수학 추론, 코드 생성, 기계 번역 등 다양한 작업에서 성능이 오직 현재 날짜에 의해서만 변화함을 확인했습니다. MCQA에서는 최대 6%, 수학 추론에서는 최대 14%, 코드 생성에서는 최대 7%, 기계 번역에서는 2.84 BLEU만큼 성능 차이가 발생했습니다. 이러한 날짜 효과는 배치 크기나 수치 정밀도와 같은 다른 비결정론적 요인들보다도 더 큰 영향을 미쳤습니다.

또한, 체인 오브 쏘트(Chain-of-Thought)나 퓨샷 프롬프팅과 같은 표준 프롬프팅 기법들은 이러한 민감도를 줄이지 못했으며, 오히려 체인 오브 쏘트는 민감도를 증폭시키는 것으로 나타났습니다. 따라서 LLM 연구에서 재현성과 공정한 비교를 보장하기 위해서는 이러한 날짜 효과를 고려한 신중한 평가 프로토콜이 필요합니다.

거대 언어 모델(LLM)이 다단계 의사결정 에이전트로 사용될 때, 새로운 환경으로의 전이 능력이 부족하다는 문제가 제기됩니다. 기존의 세계 모델 방법은 에이전트가 미래 관측을 예측하도록 훈련하지만, 예측을 계획에 사용할 때 추가적인 훈련과 오류가 누적되는 단점이 있습니다.

하지만 디지털 환경에서 작동하는 LLM 에이전트의 경우, 많은 세계 지식은 사전 훈련 과정에서 이미 내재화되어 있으므로, 문제는 지식을 획득하는 것에서 지식을 이끌어내는 것으로 전환됩니다. 기존의 후 훈련 방식은 단일 목표 하에서의 감독이 정책이 피상적인 맥락적 습관에 의존하도록 유도하기 때문에 이러한 지식을 이끌어내는 데 충분한 압력을 제공하지 못합니다.

이에 연구진은 EVOKE라는 후 훈련 방법을 제안합니다. EVOKE는 고정된 상태에서 목표 다양성을 통해 이러한 압력을 제공합니다. 이 방법은 에이전트가 다양한 목표에 걸쳐 유능하려면 행동 선호도에서 복구 가능한 세계 모델을 인코딩해야 한다는 이론에 기반합니다. EVOKE는 환경 상태와 상호작용 기록을 고정하고 대안적인 목표 하에서 동일한 후보 행동을 순위를 매기도록 하여, 맥락적 습관이나 단일 목표 상관관계에 의존하는 정책이 행동 선호도를 올바르게 순서화하지 못하게 만듭니다.

이 과정을 통해 정책은 내재된 사전 훈련된 세계 지식을 암묵적으로 이끌어내어 의사결정에 활용하게 됩니다. 연구진은 다양한 작업에서 EVOKE를 평가하여 작업 성능, 보지 못한 환경 일반화, 데이터 효율성이 향상됨을 입증했습니다. 이러한 결과는 직접적인 의사결정 감독을 통해 내재된 세계 지식을 이끌어내어 전이 가능한 행동을 가능하게 하는 새로운 관점을 제공합니다.

장편 자막 번역은 에피소드나 시리즈 전체에 걸친 담론과 문화적 맥락을 추론하고 일관된 용어와 스타일을 유지해야 하는 복잡한 과제입니다. 기존의 단일 LLM 방식이나 다중 에이전트 시스템은 장면의 복잡성이나 제작 맥락에 적응하지 못하는 정적인 워크플로우를 사용한다는 한계가 있습니다.

이에 연구진은 장편 자막 번역을 위한 자기 진화형 다중 에이전트 시스템인 SMART를 제안했습니다. SMART는 테스트 시간 훈련 과정에서 시리즈 수준의 영구적인 메모리를 구축하고, 용어 검증, 자막 제약 조건 검증, 맥락 검색 도구를 활용하는 동적 라우터 및 혼합 에이전트 레이어를 통해 문장을 번역합니다. 또한, 판단자-정제자 루프를 사용하여 후보를 평가하고 텍스트 비평을 통해 에이전트 프롬프트와 라우팅 정책을 업데이트하며 기반 LLM을 재훈련하지 않습니다.

SMART는 Subtitle Arena와 SubMQM 프레임워크를 통해 평가되었습니다. 이 평가는 14개 장르, 1959년부터 2023년까지의 제작 연도, 15개 목표 언어를 포함하는 방대한 데이터셋을 사용했습니다. 그 결과 SMART는 15가지 Subtitle Arena 방향 모두에서 가장 우수한 전체 MQM 점수를 달성했으며, 가장 강력한 경쟁 에이전트 시스템보다 평균 페널티를 6.9% 감소시켰습니다.

더불어 공개된 MuSC 벤치마크에서 SMART는 네 가지 언어 쌍 모두에서 최고의 모델 결과를 얻었으며, 인간 평가에서도 최고의 결과를 달성하여 전체 점수 4.50/5를 기록했습니다.

최첨단 LLM을 활용한 반복적 탐색을 통해 과학 연구를 자동화하는 과정에서 아이디어 기반 탐색의 세 가지 핵심 과제, 즉 연구 아이디어 정리, 유망한 방향 선택, 그리고 아이디어와 구현 간의 정렬 유지 문제가 제기되었습니다. 이러한 문제들을 해결하기 위해 연구팀은 아이디어 기반 자동화 연구를 위한 완전 자율 프레임워크인 에이전틱 아이디어 매니저(AIM)를 소개합니다.

AIM은 베이지안 최적화에서 영감을 받아 에이전틱 서베이트(Agentic Surrogate)와 에이전틱 획득(Agentic Acquisition) 메커니즘을 사용하여 발견된 아이디어를 정리하고 선택을 안내합니다. 또한, 아이디어-해결책의 무결성을 유지하는 솔루션 감사자(Solution Auditor)와 병렬 탐색 분기에 실험 예산을 적응적으로 할당하는 리소스 플래너(Resource Planner)를 통해 시스템을 구성합니다.

10개의 AutoLab 벤치마크 작업에 대한 실험 결과, AIM은 시스템 최적화 작업에서 가장 강력한 기준선보다 1.6%포인트, 장기 모델 개발 및 CUDA 작업에서 4.9%포인트 더 높은 성능을 달성했습니다. 특히 AIM은 벽시계 시간 기준으로 최대 3.1배 더 빠른 성능을 보였습니다.

이 연구는 아이디어를 탐색하는 것이 언제 유익한지에 대한 이론적 분석도 제공합니다. 분석 결과에 따르면 아이디어 수준에서의 명시적인 할당은 의미론적 커버리지를 직접적으로 제어할 수 있으며, 경쟁적인 연구 방향이 많은 가능한 대안들 중에서 희소할 때 더 넓은 커버리지가 점점 더 가치로워진다고 설명합니다.

에이전트 성능은 추론 능력뿐만 아니라 에이전트가 작동하는 환경에도 크게 좌우됩니다. 본 연구는 테스트 시점의 AI-for-AI를 탐구하며, 빌더가 모델의 가중치가 고정된 상태에서 타겟을 위한 더 나은 실행 환경을 어떻게 구축할 수 있는지에 초점을 맞춥니다.

이를 위해 경험을 재사용 가능하게 만들기 위해 메타 스킬(Meta-Skill)을 도입했는데, 이는 지원이 필요할 때와 어떤 자원을 제공해야 하는지를 명시하는 원칙입니다. 빌더는 타겟의 실행 피드백을 통해 이러한 원칙을 학습하고, 고정된 스킬 뱅크를 사용하여 보지 못한 작업에 대한 하네스를 구축합니다.

Harness-Bench와 NewtonBench에서 전체 뱅크 메타 스킬은 무기술 구축 방식에 비해 평균 성능을 8.95 퍼센트 포인트 향상시켰으며, 동일한 뱅크를 타겟에 직접 전달하는 방식에 비해 12.02 퍼센트 포인트 향상시켰습니다. 이러한 결과는 경험을 실행 가능한 지원으로 전환하는 것의 가치를 강조하며, 동일한 모델이 두 역할을 수행할 때 얻는 이점은 더 나은 환경을 구축하는 학습을 통해 시스템 수준의 자체 개선으로 나아갈 수 있는 경로를 시사합니다.

작은 학습 가능한 어드바이저가 자연어 조언을 통해 고정된 언어 모델 실행기(executor)를 제어할 수 있습니다. 이 어드바이저는 작업 보상으로부터 학습할 뿐만 아니라 완료된 상호작용으로부터 피드백을 사용하여 조언을 개선할 수 있습니다. 그러나 이러한 수정 사항을 학습하는 것이 어드바이저의 향후 결정에 영향을 미칠 수 있으므로, 수정 사항이 실행 자체를 변경하지 않더라도 학습의 범위에 제약이 생길 수 있다는 문제가 제기되었습니다.

연구진은 공유 파라미터 모델에서 이러한 수정 사항이 다른 수정 사항보다 유용한 조언을 덜 선호할 경우 학습을 제한할 수 있음을 증명했습니다. 따라서 모든 수정 사항으로부터 학습하는 것보다 덜 자주 학습하는 것이 모델의 최종 성능을 개선한다는 결론을 도출했습니다. 이를 바탕으로 연구진은 피드백 조건화된 어드바이저 복사로부터 자기 증류(self-distillation)를 결합한 결과인 어드바이저 자기 증류(Advisor Self-Distillation, AdviSD) 방법을 제안했습니다.

AdviSD는 반영(Reflection)이 수정 사항을 제안하고 어드바이저가 제시한 조언과 제시하지 않은 조언을 비교하여 점수를 매기는 방식으로 작동합니다. 이 접근 방식은 실행기 확률이나 추가적인 실행 롤아웃을 요구하지 않으며, Qwen3-8B 어드바이저를 Gemini 및 Claude에 적용한 실험에서 기존의 advisor-GRPO보다 BFCL-v3에서 4.2~6.4퍼센트 포인트, EnvScaler에서 3.9~5.1 점 포인트만큼 우수한 성능을 보였습니다.

또한 훈련된 어드바이저는 도메인 외 작업에 대해 일반화되며 서로 다른 실행기 버전과 모델 패밀리로 전이될 수 있습니다. AdviSD는 또한 일치 횟수 무작위 선택보다 우수한 성능을 보여 선택 규칙의 가치를 입증합니다.

LLM 에이전트의 자기 개선 능력을 향상시키기 위한 노력인 AREX-2를 소개합니다. 이는 테스트 시점에 솔루션을 반복적으로 개선하는 능력으로 정의되며, 이 능력은 현재 솔루션보다 더 나은 솔루션을 생성하는 반성(reflection) 능력과 여러 라운드에 걸쳐 반복을 효과적으로 유지하는 장기 실행(long-horizon execution)이라는 두 가지 상호 보완적인 능력에 기반합니다.

연구진은 이 두 가지 능력이 도메인에 구애받지 않으며 충분한 감독이 가능한 시나리오에서 학습될 수 있다고 가정합니다. 따라서 머신러닝 및 알고리즘 프로그래밍 분야에서 검증 가능한 피드백과 지속적인 반복을 제공하는 데이터로부터 장기 개선 궤적을 합성했습니다.

이러한 데이터를 학습하여 Qwen3.8-27B 기반의 에이전트를 훈련시킨 결과, 해당 에이전트는 MLE-bench Lite(81.8)와 Frontier-CS(70.7)에서 강력한 결과를 달성했습니다. 또한 심층 연구 분야에서는 BrowseComp(84.0), HLE(52.6), GAIA(92.2), DeepSearchQA(93.8) 등 다양한 벤치마크에서 높은 성능을 보였으며, 반복 횟수(rounds)가 증가함에 따라 지속적으로 개선되었습니다.

이러한 결과는 장기적인 반성 데이터를 활용하는 것이 자기 개선 에이전트를 개발하는 효과적인 경로임을 보여줍니다. 이는 LLM 에이전트가 복잡한 문제 해결 과정에서 스스로 개선할 수 있는 능력을 갖추는 데 중요한 통찰을 제공합니다.

텍스트를 이미지로 생성하는 모델에서 정확한 중국어 텍스트를 렌더링하는 것은 여전히 어려운 과제입니다. 기존의 OCR 기반 강화 학습 보상은 디코딩된 텍스트와 목표 문자열을 비교하는 방식으로 작동하며, 이는 중국어의 구성적 특성을 간과합니다. 중국어의 상형문자는 공간적 관계를 통해 재사용 가능한 구성 요소들로 이루어져 있음에도 불구하고 OCR은 이를 개별 문자로 평가하기 때문에, 시각적으로 다른 핵심 요소 수준의 오류가 동일하게 거친 피드백을 받게 되어 내부 구조를 충실히 재현하기보다 단순히 목표와 유사한 글자를 생성하도록 유도합니다.

이 문제를 해결하기 위해 공간 연산자와 문자 구성 요소로 이루어진 아이디오그래픽 설명 시퀀스(Ideographic Description Sequences, IDS)를 도입하고, 렌더링된 중국어 텍스트를 이 표현으로 변환하는 전문가 인식기를 훈련시킵니다. 이를 기반으로 IDSpect를 제안하는데, 이는 목표 텍스트를 IDS 토큰으로 결정론적으로 분해하고 영역별 시각적 IDS 예측을 목표 시퀀스와 정렬합니다. IDSpect는 전역적으로 고유한 토큰 크레딧을 제공하여 감지된 텍스트 영역의 순서에 관계없이 비교를 견고하게 만듭니다.

또한, 전체 문자 의미 보상과 결합하여 IDSpect는 이미지 생성기나 추론 시 비용을 변경하지 않으면서 구성 요소 및 공간 관계에 대한 세밀한 크레딧을 제공합니다. Qwen-Image에 대한 GRPO 후처리 실험 결과, IDSpect는 LongText와 GenTextEval에서 선도적인 구조 품질과 의미적 정렬을 달성했음을 입증했습니다.

기존의 지시 기반 비디오 편집 방법들은 멀티모달 대규모 언어 모델(MLLM)을 주로 의미론적 인코더로 사용하여 인과적 또는 의미론적 추론이 필요한 암묵적 편집 작업을 처리하는 데 한계가 있었습니다. 이러한 근본적인 격차를 해소하기 위해 연구진은 비주얼 생성 전에 MLLM의 사고 과정을 명시적으로 활성화하는 추론 기반 프레임워크인 ThinkV2V를 제안했습니다.

ThinkV2V는 MLLM-to-DiT 아키텍처를 기반으로 하여 소스 비디오와 지시에 대한 명시적인 사고를 비디오 편집을 위한 정제된 조건 신호로 변환합니다. 또한, 복잡한 편집 시나리오에서 추론을 더 잘 이끌어내기 위해 점진적 커리큘럼 훈련(Progressive Curriculum Training)과 추론 시간 스케일링(Inference-Time Thinking Scaling)을 결합한 훈련 및 추론 레시피를 구축했습니다.

연구진은 암묵적 의도와 인과적 추론을 포함하는 비디오 편집을 훈련하고 평가하기 위해 ThinkV2V-150K 데이터셋과 ThinkV2V-Bench를 구축했습니다. 실험 결과, ThinkV2V는 복잡한 시나리오와 표준 편집 시나리오 모두에서 최고 수준의 성능을 입증했으며, 50억 개의 파라미터를 가진 DiT 모델이 더 큰 100억 개의 파라미터 기준 모델보다 우수한 성능을 보였습니다.

긴 컨텍스트 추론 시 KV 캐시 메모리와 대역폭 비용이 증가하여 효율적인 장문 추론에 제약이 발생합니다. 이러한 병목 현상을 해결하기 위해 저비트 KV 캐시 양자화를 위한 WUSH-KV를 제안합니다. WUSH-KV는 행렬 곱의 두 요인에 대한 2차 통계량으로부터 데이터 인식 변환을 구성하여 양자화 오류를 줄이는 WUSH 기법을 채택합니다.

WUSH-KV는 보정 데이터를 사용하여 별도의 키 및 값 변환을 구성하며, 값 변환은 모델 가중치에 통합되고 키 변환은 RoPE 후에 적용됩니다. 이 변환들은 클리핑 양자화기와 함께 사용될 수 있습니다. 특히 QuEST INT와 같은 양자화기에서는 WUSH 변환이 완화된 가정 하에 거의 최적의 성능을 보입니다.

이러한 접근 방식을 통해 WUSH-KV는 레이어별 재구성 오류를 줄이고 다른 테스트된 변환들 중에서 가장 낮은 종단 간 퍼플렉시티를 달성합니다. SGLang에 WUSH-KV를 통합하고 OSCAR 스타일의 백분위수 클리핑 아핀 양자화를 사용하여 종단 간 평가를 수행했습니다. 2비트 수준에서 WUSH-KV는 평가된 모든 모델과 다운스트림 작업에서 OSCAR 변환과 비슷하거나 더 나은 성능을 보였습니다.

온폴리 증류(OPD)는 학생 모델이 교사의 다음 토큰 분포를 자신의 궤적에서 일치시키도록 훈련시켜 상당한 경험적 이득을 제공합니다. 그러나 일반화된 변형을 통해 학생이 교사를 능가하도록 출력 공간에서 암묵적인 보상을 외삽(extrapolate)할 경우, 언어 모델 헤드가 이러한 변화를 비대칭적으로 약화시키기 때문에 훈련이 불안정해집니다.

이는 교사의 은닉 상태에 인코딩된 변화가 로짓의 일부 가중치에만 도달하며, 출력 공간 외삽에 의존하는 샘플링된 토큰 로그 확률 비율이 노이즈를 주입하여 외삽이 증폭되고 훈련이 불안정해지기 때문입니다. 연구진은 강화 학습(RL)이 모델의 내부 표현을 기본 체크포인트에 상대적으로 이동시키며, 이러한 이동 방향이 모든 레이어에서 측정될 수 있음을 발견했습니다.

이러한 관찰을 바탕으로 연구진은 RL에 의해 유도된 변화를 표현 공간에서 직접 외삽하는 RIDE(RL-Induced Direction Extrapolation)를 제안했습니다. RIDE는 교사와 RL 이전 체크포인트 간의 잔차를 계산하여 학생의 은닉 상태를 이 잔차를 따라 교사 너머로 이동시켜 RL 유도 방향을 따라가면서도 교사로부터의 편차를 제한합니다.

RIDE는 다양한 규모, 아키텍처, 사전 훈련 계보를 포괄하는 네 쌍의 기본/RL-교사 쌍에서 RL 훈련된 교사를 근접하거나 능가하며, 이는 평균적으로 이 성능을 달성하는 유일한 방법입니다. 또한 RIDE는 교사가 기본 상태에 가까울 때 학생을 저해하는 출력 공간 외삽보다 일관되게 더 나은 성능을 보입니다.

GPT-6 Astra는 고수준 계획을 넘어 수치적인 로봇 행동을 생성하는 놀라운 능력을 보여주며, 일반적인 임베디드 정책으로서의 역량을 평가하기 위해 여섯 가지 영역에 걸쳐 포괄적인 평가가 진행되었습니다. 그리퍼 조작에서는 하이브리드 제어(π0.5)가 평가된 RoboDojo 부분집합에서 48%의 성공률을 달성했으며, 섬세한 조작에서는 10회의 경험 기반 DexJoCo 실험에서 하이브리드 제어가 50%의 성공률을 기록했습니다.

모바일 조작에서는 하이브리드 제어가 RoboCasa365에서 38.7%의 성공률을 보였고, 내비게이션 분야에서는 Astra가 로컬 비교에서 우위를 점하여 RxR 지시 따르기에서 92%, HM3D 객체 검색에서 82%의 성공률을 기록했습니다. 그러나 탐색 과정에서 상당한 우회 경로가 발생한다는 점은 주목할 만합니다. 또한, 인체형 로봇 조작에서는 사전 학습된 전신 컨트롤러를 사용하여 30개의 HumanoidBench 작업 중 13가지에서 기준 방법보다 높은 성능을 보였습니다.

이러한 결과는 유용한 작업 결정과 신뢰할 수 있는 물리적 제어 사이에 격차가 있음을 시사합니다. 실질적인 제어를 위해서는 추론 지연 시간이 제약으로 작용하는데, 30초 이동 실행을 위해서는 250회의 모델 호출이 필요하며 이는 평균 39.86초가 소요됩니다. 이 과정에서 추론 중에는 물리 엔진이 일시 중지됩니다. 따라서 정책 지원 및 직접 제어는 각각 6억 2,480만 토큰과 11억 3,200만 토큰을 소비하여 실시간 제어에 있어 계산적 제약이 존재합니다.

인간형 로봇에게 다양한 물체를 운반하는 같은 국소 조작(loco-manipulation) 기술을 시각 모방을 통해 학습시키는 것은 범용 로봇 개발의 유망한 경로입니다. 그러나 이 접근 방식을 확장하기 위해서는 사람의 전신과 물체와의 비차단된 상호작용을 명확히 보여주는 다양하고 고품질의 상호작용 비디오를 수집하는 것이 실질적인 장벽이 됩니다.

이러한 한계를 극복하기 위해 PRISM이라는 실시간-시뮬레이션-실제(real-to-sim-to-real) 프레임워크가 제안되었습니다. PRISM은 소수의 실제 비디오를 증폭하여 대규모의 다양하고 풍부한 훈련 데이터셋으로 확장하는 것을 목표로 합니다. 먼저 PRISM은 몇 개의 실제 비디오로부터 비디오-투-비디오(V2V) 생성을 통해 수백 개의 다양한 '반사실적(counterfactual)' 인간-물체 상호작용 비디오를 생성합니다.

이후 접촉 기반의 실제-시뮬레이션 파이프라인은 인간과 물체의 움직임을 재구성하여 이 불완전한 비디오 데이터를 물리적으로 그럴듯한 궤적으로 변환합니다. 이러한 반사실적 비디오들 간의 클래스 내 변동성을 활용하여 단일 정책을 훈련함으로써 각 범주 내의 보지 못했던 물체에 대해 일반화할 수 있게 됩니다.

이 전체 파이프라인을 실제 로봇에 적용하여 실제 세계에서의 미세 조정 없이 정책을 배포하는 것을 시연했습니다. 온보드 깊이 관측만을 사용하여 이 휴머노이드 로봇은 상자, 통, 쓰레기통, 공과 같은 물체를 새로운 인스턴스, 크기, 초기 구성에 걸쳐 집고, 운반하고, 놓는 작업을 수행했습니다.

온폴리 정책 증류(OPD)는 학생 모델이 자신의 정책에 의해 생성된 궤적을 통해 밀집한 교사 감독 하에 학습하는 유망한 후훈련 패러다임으로 부상했습니다. 그러나 OPD는 근본적인 비대칭성을 야기하는데, 샘플링된 궤적은 학생에게는 온폴리이지만 교사에게는 오프폴리이기 때문입니다. 일반적으로 교사는 자신의 정책으로 생성된 접두사에서 계속하는 방식으로 최적화되지만, OPD 과정에서는 학생이 생성한 접두사를 감독해야 합니다.

실험 결과, 이러한 접두사가 길어질수록 교사의 계속 성능이 저하되는 것으로 나타났습니다. 이 문제를 해결하기 위해 연구진은 학생 조건부 교사 업데이트(SCOUT)라는 공동 훈련 프레임워크를 제안했습니다. SCOUT는 교사를 학생이 생성한 접두사에 적응시키는 것을 목표로 합니다.

SCOUT는 표준 OPD 업데이트와 더불어, 교사의 조건부 능력을 강화 학습과 검증 가능한 보상을 사용하여 주기적으로 최적화합니다. 교사는 학생 접두사로부터 계속을 생성하고 결과 보상으로부터 학습합니다. 통제된 실험 결과, SCOUT는 학생이 생성한 접두사로부터 계속하는 교사의 능력을 향상시키며, 학생 조건부 교사 적응이라는 의도된 메커니즘을 뒷받침합니다. 다양한 교사-학생 구성, 모델 규모, 추론 도메인에 걸쳐 SCOUT는 온폴리 증류의 효과를 일관되게 개선했습니다.

루프 언어 모델(LoopLMs)은 파라미터 공유를 통해 계산 깊이를 늘려 파라미터 추가 없이 추론 계산을 확장할 수 있는 방법을 제공합니다. 하지만 추가적인 재귀(recurrence)가 언제 유익한지, 그리고 아키텍처 선택이 그 효과에 어떻게 영향을 미치는지에 대해서는 여전히 불분명합니다. 연구진은 지식 및 추론 작업에서 훈련 범위 아래, 범위 내, 그리고 훈련 범위를 넘어선 추론 작업에 걸쳐 재귀의 효과를 체계적으로 조사했습니다.

실험 결과, 재귀는 훈련 범위를 넘어선 추론을 개선할 수 있지만 지식 성능은 저하시키며, 더 어려운 추론 사례에서는 일관되게 더 큰 이점을 제공하지는 않는 것으로 나타났습니다. 또한 성능은 레이어와 재귀 반복이 어떻게 할당되는지에 따라 달라지므로, 단순히 유효한 깊이만으로는 모델의 행동을 예측하기에 충분하지 않습니다. 비재귀 출력 레이어는 언더-언롤링에 대한 견고성을 향상시키며, 입력 및 출력 레이어의 선호 위치는 추론 예산에 따라 달라집니다.

이러한 발견을 바탕으로 연구진은 역사-상태 주입(history-state injection)을 대안으로 제안했습니다. 채널별 역사-상태 주입과 타임스텝 조건화를 결합하면 낮은 비용으로 더 효과적인 설계를 할 수 있으며, 확장된 언롤링 하에서 지식을 더 잘 보존하고 추론 예산 전반에 걸쳐 견고성을 향상시킵니다. 이 연구는 재귀 계산이 언제 도움이 되고 실패하는지 명확히 밝히고, 가변적인 추론 예산을 가진 LoopLM을 설계하기 위한 실용적인 지침을 제공합니다.

에이전트들이 다른 에이전트가 작성한 코드를 재사용하기보다 재구현하는 경향이 강해지면서, 후속 에이전트들이 작업해야 하는 코드베이스가 점점 커지고 있습니다. 이러한 에이전트들이 다른 에이전트를 위한 라이브러리를 얼마나 잘 설계하는지 측정하기 위해 라이브러리 디자인 벤치마크인 LibraryDesignBench를 도입했습니다.

이 벤치마크는 설계에 대한 지침 없이 요구되는 기능과 잠재적 사용 사례를 정의하는 사양으로부터 에이전트가 완전한 라이브러리를 구현하는 과정을 평가합니다. 평가에는 서로 다른 모델 계열의 세 사용자 에이전트가 작성한 프로그램의 정확성과 단순성이 포함됩니다. 이 벤치마크는 네 가지 언어에서 15가지 라이브러리 설계 작업을 포함하여 242개의 전문가 검증 프로그래밍 문제를 다룹니다.

분석 결과, 후속 에이전트들이 추가 코드를 작성하는 주된 이유는 기능이 부족해서가 아니라 에이전트가 작성한 라이브러리가 경직되거나 사용하기 어려워서임을 발견했습니다. 또한, 설계자에게 더 구체적이고 에이전트 중심의 지침을 제공하고 하위 에이전트로 라이브러리를 테스트하도록 실험했을 때 후속 점수가 향상되고 더 단순한 프로그램이 도출되었습니다.

LibraryDesignBench는 에이전트 사용자를 위한 라이브러리 설계 관행을 평가하는 테스트베드 역할을 하며, 후속 재사용을 개선하는 초기 설계 기준선 역할을 제공합니다.