읽을 가치가 있는 기사만, 짧고 또렷하게.

강화 학습(RL) 방법론을 훈련 프레임워크를 통해 적용하는 연구자들이 존재하며, 프레임워크에 포함된 방법은 사용자에게 단 한 번의 설정 변경만으로 적용 가능합니다. 본 연구는 이러한 방법의 포함 여부를 측정하기 위해 7개의 오픈소스 RL 후처리 프레임워크의 커밋 기록을 추적하고 2025년 1월부터 2026년 6월까지의 6,939편의 arXiv 논문을 분석했습니다.

일반적인 RL 훈련 방법을 제안한 1,598편의 논문 중 37편이 최소한 하나의 프레임워크에 포함되었습니다. 이 논문들이 프레임워크에 포함된 기간은 180일 이내에 5편에서 7편 사이였으며, 해당 논문 코호트는 72편에서 386편으로 증가했습니다. 또한, 프레임워크에 포함된 논문들은 동일 분기의 논문들에 비해 300억 파라미터 이상의 정책을 훈련하거나 손실 함수 내의 계수, 클립, 마스크 또는 가중치를 변경하는 경우가 더 많았습니다.

프레임워크를 유지하는 회사들로부터의 논문이 제외되지 않았으며 코드 공개도 비슷한 비율로 발생했습니다. 프레임워크의 이슈와 풀 리퀘스트 기록을 보면 공개적으로 거절되는 방법은 적으며, 많은 일반적인 방법들이 인용되거나 답변 없이 남아있는 경우가 많습니다. 또한, 13개의 대규모 오픈 가중치 모델의 기술 보고서와 프레임워크의 이슈 기록에 따르면, 사용자들이 훈련 실패를 공개적으로 보고하는 경우는 드물며, 광범위하게 포함된 방법 중 8개가 이러한 보고를 했습니다.

연구진은 이러한 데이터를 통해 훈련 실패와 프레임워크 구현을 연결하는 추적기를 공개하며, 각 프레임워크의 기여 규칙과 이전 제안들을 정리하여 제공합니다.

LLM에게 신뢰 점수를 요청하는 것은 좋지 않은 접근 방식입니다. LLM은 코드를 작성하거나 요약하는 등 많은 작업을 수행할 수 있지만, 그 결과에 대한 확률이나 신뢰 점수를 제공할 때 그 수치를 신뢰할 근거가 없습니다. 신뢰 점수는 단순한 의견이 아니라 정보에 기반한 계산이어야 하며, 기상 예보처럼 과거 데이터와 현재 정보를 바탕으로 계산되어야 합니다.

신뢰 점수가 정확한지 확인하려면 해당 점수를 실제 결과와 비교하여 보정하는 과정, 즉 보정(calibration)이 필수적입니다. 예를 들어, 기상 예측가처럼 신뢰도는 사용된 정보의 양과 실제 발생한 결과에 따라 달라지며, LLM이 생성하는 점수는 이러한 실제 검증 과정을 거치지 않았기 때문에 신뢰성이 부족합니다.

LLM이 신뢰 점수를 생성하는 방식은 텍스트를 토큰 단위로 순차적으로 생성하는 자기회귀적(autoregressive) 방식에 기반하며, 이는 실제 증거를 요약하는 것이 아니라 텍스트의 연속성을 반영할 뿐입니다. 따라서 LLM의 신뢰 점수는 실제 정확도와 일치하지 않으며, 어떤 정보가 얼마나 반영되었는지에 대한 검증 기록이 없기 때문에 신뢰할 수 없습니다.

따라서 에이전트가 신뢰 점수를 갖기 위해서는 LLM의 출력에 의존하기보다, 과거 응답과 실제 결과에 대한 기록을 바탕으로 자체적으로 규칙을 업데이트하고 검증하는 시스템을 구축해야 합니다. 이를 통해 LLM이 생성한 점수가 실제 정확도와 일치하도록 보정할 수 있습니다.

최첨단 코딩 에이전트가 과학 분야에서 어떻게 활용될 수 있는지에 대한 Agent4Sci라는 장기 테스트베드가 소개되었습니다. 이 테스트베드는 오늘날의 에이전트들이 과학 ML 벤치마크에서 이미 발표된 최고 모델을 얼마나 개선할 수 있는지 측정하며, 11개 도메인에 걸친 20개의 벤치마크를 포괄합니다. Agent4Sci는 순위표 대신 에이전트들이 실제 환경에서 어떤 진전을 이룰 수 있는지, 그리고 어디서 부족한지를 탐구하는 데 중점을 둡니다.

실증 결과에 따르면, 현재의 최첨단 에이전트들은 모든 벤치마크에서 이미 발표된 최고 기록을 능가했으며, Claude Opus는 평균 상대 개선율 10.4%를 달성했습니다. 하지만 이러한 개선은 연구 수준의 통찰력보다는 주로 ML 엔지니어링 트릭에서 비롯된 것으로 나타났습니다. 이러한 궤적 분석을 통해 연구 아이디어 구상, 실험 관리, 스케줄링 체크리스트와 같은 경량 플러그인 기술을 적용했을 때 Claude Opus는 10.4%에서 20.1%로, Codex는 4.4%에서 8.1%로 성능을 향상시키며 보다 다양하고 도메인 관련성 높은 개입을 가능하게 했습니다.

Agent4Sci는 커뮤니티가 ML 엔지니어링에서 도메인 통찰력으로 최첨단 에이전트를 이끌어 나갈 수 있는 방법을 제공합니다. 이 테스트베드는 에이전트들이 실제 ML-for-사이언스 문제에 대해 도메인 지식을 습득하도록 촉진하는 데 기여합니다. 관련 코드와 데이터는 GitHub와 Hugging Face에서 공개되어 있습니다.

물리적 법칙에 기반한 다양한 경험을 통해 신체화된 학습(embodied learning)이 개선되었는지, 그리고 이러한 개선이 시각 스타일, 역학, 제어, 목표가 다른 가상 세계로 확장될 수 있는지에 대한 연구가 진행되었습니다. 연구진은 데이터 양, 다양성, 모델 용량이라는 세 가지 축을 따라 지속적인 사전 훈련(CPT)을 통제 실험하여 이 질문에 답했습니다.

연구는 0.8B에서 27B에 이르는 네 가지 모델 크기, 50시간에서 1,600시간에 이르는 데이터 예산, 그리고 마인크래프트 전용 데이터부터 다양한 멀티월드 코퍼스에 이르는 다섯 가지 혼합 데이터를 포함하는 120가지 훈련 구성을 다루었습니다. 그 결과, 데이터 양 증가는 인코퍼스(in-corpus) 성능을 향상시키고, 다양성은 관련 세계로의 전이를 개선하지만 먼 세계에서는 제한적인 이득만을 보였습니다. 또한 모델 크기는 데이터 효율성을 높이지만 단일 세계 훈련 시 먼 세계에 대한 일반화는 더 나빠지는 것으로 나타났습니다.

연구는 또한 초기 인터페이스 단계와 후기 세계 단계를 관찰했으며, 데이터 양, 다양성, 모델 크기에 따른 검증 손실과 관련된 경험적 스케일링 법칙을 도출했습니다. 모델들은 3D 세계에서 마인크래프트 전문가 및 최첨단 모델과 경쟁할 수 있으며 실시간 설정에서 가장 우수한 성능을 보였습니다. 하지만 모방의 한계와 먼 세계에서의 지속적인 격차는 일반화된 신체화 에이전트를 구축하기 위해서는 지속적인 사전 훈련을 넘어선 더 풍부한 훈련 단계가 필요함을 시사합니다.

챗 모델은 사용자의 방언에 관계없이 표준 영어로 응답하는 경향이 있으며, 이는 훈련이 사용자들을 동일하게 취급했는지 여부를 숨길 수 있습니다. 이러한 균일한 답변은 출력 감사만으로는 사용자 맞춤 학습이 이루어졌는지 파악하기 어렵게 만듭니다. 연구진은 지도 미세 조정(SFT)부터 선호 최적화(DPO) 및 강화 학습에 이르는 각 후처리 단계가 모델의 사용자 일치 경향을 어떻게 변화시키는지 추적했습니다.

10개의 오픈 모델 계보를 분석한 결과, 후처리 과정이 답변을 모든 비공식적인 신호에 표준화하지만, DPO 업데이트는 여전히 AAE나 싱글리시 대신 영국식 및 호주식 철자를 선호하며 모델은 요청 시 AAE 특징을 생성하는 것으로 나타났습니다. 따라서 모델이 사용자에게 맞추는 방식에 대한 선택적 업데이트가 숨겨질 수 있다는 점이 밝혀졌습니다.

연구진은 이러한 문제를 해결하기 위해 보정된 적응 쌍(Calibrated Accommodation Pairs, CAP)이라는 선호 데이터를 도입했습니다. CAP는 표준 영어 사용자의 경우 표준 영어를 유지하면서 사용자의 방언 밀도를 맞추도록 보상하는 데이터입니다. 이 방법은 완전히 공개된 모델에서 CAP를 사용하면 표준 영어 사용자에게 방언이 증가하거나 지시 따르기에 비용이 발생하지 않으면서 훈련되지 않은 특징에 대한 수렴을 높입니다.

반면, 일방적인 쌍(one-sided pairs)은 사용자를 지나치게 보정하고 방언을 강요함으로써 유사한 이득을 얻습니다. 이 연구 결과는 균일한 답변이 선택적 업데이트를 숨길 수 있으며, 출력 감사는 업데이트뿐만 아니라 출력 자체도 함께 읽어야 함을 시사합니다.

에이전트 로보틱스 시스템은 계획기와 로봇 하네스를 결합하여 복잡한 조작 작업을 수행합니다. 기존 연구들은 하네스와 외부 메모리를 개선했지만, 계획기 자체의 능력은 개선하지 못하고 강력한 클로즈드 소스 모델에 의존하는 한계를 보였습니다. 이에 연구진은 모델 자체를 포스트 트레이닝함으로써 로봇 계획기를 개선할 수 있는지 탐구했습니다.

이러한 접근 방식을 로봇 하네스에 적용하기 위해서는 VLA 스킬 호출이나 제어 코드 생성과 같은 다양한 실행 메커니즘을 수용해야 하는 과제가 있었습니다. 이를 해결하기 위해 연구진은 다양한 하네스에 걸쳐 로봇 계획기를 포스트 트레이닝할 수 있는 프레임워크인 AgenticRoboRL을 소개했습니다. 이 프레임워크는 지도 미세 조정(supervised fine-tuning)과 다중 턴 강화 학습(multi-turn reinforcement learning)을 결합한 훈련 레시피를 사용합니다.

AgenticRoboRL은 하네스별 어댑터를 통해 기록된 계획기 상호작용과 작업 결과를 연결하여 실행 구성 요소를 고정시킨 채 공통의 강화 학습 파이프라인을 가능하게 합니다. LIBERO-PRO 사례에서 이 방법은 외부 메모리 없이 90억 파라미터 계획기의 성공률을 18.1%에서 71.0%로 향상시켰으며, 이는 외부 메모리를 사용한 Codex(GPT-5.5)의 72.1%에 근접한 결과입니다. 이 결과는 포스트 트레이닝이 로봇 계획기를 개선하는 효과적인 접근 방식임을 입증합니다. 연구진은 이 프레임워크와 훈련된 계획기 체크포인트를 공개할 예정입니다.

스트리밍 비디오 생성 기술이 발전함에 따라 생성된 비디오와 실시간으로 상호작용하는 기능이 중요해지고 있습니다. 이에 StreamEval은 아바타 대화, 아바타 성능, 월드 생성, 지시 편집, 참조 편집 등 다섯 가지 작업을 포괄하는 통합 벤치마크를 도입했습니다. 이 벤치마크는 15초에서 300초 길이의 300개의 스크립트 테스트 케이스로 구성되어 있으며, 초기 에셋과 점진적으로 도착하는 멀티모달 요청, 그리고 상태 변경 및 콘텐츠 보존에 대한 명시적인 요구 사항을 지정합니다.

StreamEval은 작업 실행, 상태 일관성, 시각적 충실도, 시청각 조정이라는 네 가지 평가 차원을 통해 성능을 측정하며, 각 작업별로 0점에서 100점까지의 10가지 세부 지표를 사용합니다. 37개의 모델을 300개의 테스트 케이스에 대해 평가한 결과, 높은 시각적 품질과 정체성 유지가 반드시 요청 실행의 신뢰성이나 지속적인 상태 일관성과 일치하지는 않는다는 사실이 밝혀졌습니다.

특히 요청 실행은 여전히 어려운 과제로 남아있는데, 아바타 성능 모델 중 'Following' 작업의 최고 점수는 36.90점이며, 텍스트 조건부 월드 생성에서의 'Following'은 25.93점, 참조 편집 모델 중 'Edit Success'는 15.00점입니다. 이러한 결과는 시간 및 보존 제약 조건 하에서 신뢰할 수 있는 요청 실행이 온모달 실시간 상호작용 시스템을 발전시키는 데 있어 핵심적인 도전 과제임을 시사합니다.

장면 텍스트 편집(Scene Text Editing, STE)은 스타일을 유지하면서 텍스트 내용을 수정하는 데 중요한 실용적 가치를 지니지만, 학습을 위해서는 일반적으로 편집 전후의 쌍 이미지 데이터가 필요합니다. 그러나 최근 접근 방식들은 합성된 쌍 데이터와 복잡한 분리 전략에 크게 의존하여 자연 장면의 다양성과 복잡성을 제대로 포착하지 못하고 인공물이나 환각 현상을 발생시키는 한계를 보였습니다.

본 연구는 이러한 일반적인 관행에 도전하며, 각 실제 샘플을 자체 쌍 지도(self-paired supervision)로 전환하여 STE를 구동할 수 있는지 탐구합니다. 구체적으로 이미지에 교란을 가하는 여러 방법(예: 자르기, 섞기, 마스킹)을 탐색하여 자체 쌍 학습 데이터를 구성하고, 조건부 확산 아키텍처 위에 강력한 기준선인 TextRIRO를 구축했습니다. 실험 결과, 문자-컬럼 셔플링과 이미지 자르기(Shuffle&Crop)를 결합하는 방식은 핵심 스타일 단서를 보존하면서 텍스트 의미를 효과적으로 파괴하여 모델이 실제 텍스트 이미지로부터 편집 행동을 직접 학습하도록 가능하게 했습니다.

이러한 간결하고 현실 지향적인 설계 덕분에 TextRIRO는 실제 세계 벤치마크에서 정확도와 시각적 현실성 모두에서 유망한 성능을 달성하며 합성-실제 도메인 간 격차를 상당히 완화했습니다. 나아가 TextRIRO를 활용하여 편집된 이미지와 원본 이미지를 연결하여 장문 인식용 대규모 현실 데이터셋인 TextRIRO-3M을 구축했습니다. TextRIRO-3M으로 인식 모델을 훈련했을 때 인식 정확도가 크게 향상되어 TextRIRO가 다운스트림 작업에 매우 유용한 학습 자원을 제공함을 입증했습니다.

결론적으로 TextRIRO는 STE를 현실적이고, 신뢰할 수 있으며, 광범위하게 적용 가능한 새로운 수준으로 끌어올립니다. 관련 코드는 https://github.com/YesianRohn/TextRIRO에서 확인할 수 있습니다.

Qwen-Audio-3.1-ASR은 이전 모델인 Qwen-Audio-3.0-ASR을 기반으로 음성 인식 성능을 개선하고 화자 분리 전사 및 일반적인 오디오 이해 능력을 확장한 오디오-언어 모델 제품군입니다. 이 모델군은 30개 언어와 16개 중국어 방언을 지원하며, 역사적 맥락 조건화, 계층적 핫워드 사용자 지정, 원어 전사 다듬기 등 지시 기반 기능을 포함합니다.

특히 화자 분리 ASR은 화자 레이블, 타임스탬프, 인식된 텍스트를 포함하는 구조화된 출력을 생성하며, 턴(turn) 전반에 걸쳐 일관된 화자 레이블을 유지하고 겹치는 음성 표현을 나타냅니다. 또한 일반적인 오디오 이해 능력은 오디오, 음성, 음악 캡셔닝, 시간적 기반 설정 및 음향 이벤트 감지, 오디오 질문 응답, 다중 선택 추론을 포괄합니다.

이러한 기능들은 단순히 음성 단어를 인식하는 것을 넘어 화자, 음향 이벤트 및 그 시간적 관계를 해석하는 응용 범위를 넓힙니다. 배포 요구 사항을 수용하기 위해 이 모델군은 비동기 파일 전사, 저지연 스트리밍, 상호 작용 음성 입력, 비스트리밍 인식을 위한 다양한 변형을 포함하고 있습니다.

평가 결과는 기존 ASR, 다국어 및 방언 음성, 화자 분리 전사, 일반 오디오 이해를 포괄하며, 전사 및 광범위한 오디오 분석 작업 전반에 걸쳐 Qwen-Audio-3.1-ASR 제품군의 능력을 입증합니다.

자율 에이전트가 아이디어를 제안하고 코드를 수정하며 실험을 수행함으로써 협력적인 AI 연구팀을 통해 과학적 발견을 가속화할 기회가 생겼습니다. 연구의 국소 최솟값(local minima)을 벗어나기 위해 다양한 전문성을 가진 에이전트로 팀을 구성하여 직교 탐색(orthogonal exploration)을 장려하는 방식을 제안합니다.

하지만 이러한 설계를 실현하기 위해서는 다양한 배경 지식 이상의 것이 필요합니다. 실험 비용이 많이 드는 상황에서 팀은 제한된 수의 아이디어만 테스트할 수 있으므로, 새로운 실험을 수행할 연구자들을 선택할 때 탐색과 활용의 균형을 맞추는 것이 중요합니다. 또한, 각 결과는 팀이 다음에 시도할 것을 형성해야 합니다. 따라서 서로 다른 과학적 배경을 가진 AI 연구자들이 어떻게 서로의 발견을 기반으로 삼아 제한된 실험 예산 내에서 발전을 지속할 수 있는지에 대한 질문이 제기됩니다.

이러한 도전에 대응하기 위해 각기 다른 분야에 기반을 둔 지속적인 AI 연구자들로 구성된 팀을 구축합니다. 이들은 개인 연구 이력을 보존하고, 실험 증거를 공유하며, 적응적 할당을 통해 연구 기회를 받습니다. 이 설계는 선형 어텐션 아키텍처를 탐색하는 데 적용되었으며, 언어 모델링, 상식 추론, 검색 작업에서 GDN2보다 우수한 성능을 보였습니다.

실험 결과, 설계에서 조직적 구성 요소 중 하나를 제거하면 발견이 현저히 약해짐을 확인했습니다. 분야별 배경이 없으면 탐색이 조기에 정체되고, 개인 이력이 없으면 동일한 공유 증거에도 불구하고 연구자들이 더 적은 진전을 보이며, 균일한 선택은 동일한 예산 내에서 적응적 할당을 달성하지 못했습니다. 이는 지속적인 자율 발견이 더 강력한 에이전트뿐만 아니라 누가 탐색하고, 무엇을 기억하며, 연구 노력이 어떻게 할당되는지에 달려 있음을 시사합니다.

LLM 에이전트가 복잡한 작업을 수행하며 긴 관찰 및 행동 궤적을 탐색할 때 키-값(KV) 캐시 I/O와 저장 비용이 주요 병목으로 작용합니다. 특히 궤적이 LLM의 최대 컨텍스트 길이를 초과할 경우, 활성 캐시 성장을 제어하는 것이 중요해집니다. 기존의 컨텍스트 엔지니어링 방식은 기록을 자르거나 요약하여 캐시 크기를 줄이는 방법을 사용했지만, 궤적 접두사를 수정하면 이후 캐시 상태가 무효화되어 비용이 발생하고, 너무 적은 컨텍스트를 유지하면 작업 정확도가 저하되는 문제가 있었습니다.

이에 본 연구는 궤적이나 보존된 컨텍스트를 수정하지 않고도 에이전트가 활성 KV 캐시를 직접 제어할 수 있는 새로운 방식인 캐시 엔지니어링을 제안합니다. 구체적으로 에이전트는 `drop`을 사용하여 향후 어텐션에서 특정 캐시를 제외하고 `repos`를 사용하여 보존된 키의 위치 인코딩을 조정함으로써 캐시를 관리할 수 있습니다. 이러한 캐시 연산과 히스토리 의존성을 해결하기 위해 기존의 서빙 방식으로는 충분하지 않다고 판단하여 AKV 서빙 엔진을 공동 설계했습니다.

실험 결과, 도구 응답 롤링-드롭 캐시 정책은 기존의 임계값 기반 요약 방식에 비해 평균 벤치마크 점수를 1.7점 향상시키고 평균 비용을 27.7% 절감했습니다. 또한 AKV를 사용했을 때 출력 처리량은 최대 1.2배 증가했으며 P95 요청 지연 시간은 1.5배 단축되었습니다. 캐시 정책의 재귀적 자기 개선을 통해 전문가 설계 대비 비용을 7.1% 추가로 절감할 수 있습니다.

온폴리 디스틸레이션(OPD)은 놀랍게도 소수의 학습 질문만으로도 성공할 수 있으며, 이는 질문이 분포 지식 전달의 매개체라는 관점을 제시합니다. 연구진은 정답에 접근하지 않고도 새로 생성된 질문의 가치를 평가하고 더 나은 질문을 생성하는 방법을 모색하기 위해 Ask-to-Distill(\method) 프레임워크를 소개합니다.

이 방법은 합성 질문을 분포 유도자(distribution elicitors)로 간주하고, 학생이 생성한 궤적을 따라 노출되는 교사 감독(teacher supervision)을 최적화합니다. 학생으로 초기화된 합성기(synthesizer)는 참조 답변이나 개별 후보 업데이트 없이 고정된 학생-교사 쌍으로부터 계산된 분포적 대리자(distributional surrogate)를 사용하여 질문 가치를 최적화합니다. 보상은 교사-학생 간의 불일치와 학생 후보에 대한 교사의 확률 질량, 길이 및 다양성 제어를 결합하여 산출됩니다.

생성된 질문들은 필터링 및 중복 제거 과정을 거쳐 프롬프트 전용 은행으로 정리됩니다. 이 방법은 수학적 추론, 코드 생성, 에이전트 작업 등 다양한 분야에서 평균 성능과 교사 간격 복구(teacher-gap recovery)를 개선하며, 평가된 설정에서 실제 은행 OPD와 같거나 더 나은 결과를 보였습니다.

추가한 신호 분석 결과에 따르면, 최적화된 질문은 더 조밀한 감독과 더 짧은 학생 응답으로부터 더 많은 총 신호를 이끌어내어 합성 디스틸레이션 데이터의 목표로 분포적 감독을 활용할 수 있음을 뒷받침합니다. 이 연구의 코드와 모델은 공개되어 있습니다.

비전-언어-행동(VLA) 정책은 훈련 과정에서처럼 명령에 따라 알바트로프 수프를 바구니에 쉽게 놓을 수 있지만, 바구니를 왼쪽으로 5센티미터 이동시키면 수프를 테이블에서 떨어뜨리는 취약점을 보였습니다. 연구진은 이러한 정책이 실제로 무엇을 계산하는지 조사하기 위해 해석 가능 파이프라인을 개발했습니다.

이 연구는 정책의 취약성을 설명하는 메커니즘을 제공합니다. 특정 작업 A의 활성화 값을 액션 전문가에 주입하고 정책이 작업 B의 장면을 볼 때, pi0.5가 99.6%의 에피소드에서 작업 A의 운동 궤적을 실행하게 만들었습니다. 이 주입된 프로그램은 절대 작업 공간 좌표에 묶여 있으며 보이는 장면은 무시하는데, 이는 동시 벤치마크에서 보고된 교란 민감성을 메커니즘적으로 설명합니다.

또한, LIBERO, MetaWorld, SimplerEnv, ALOHA 등 여섯 개의 VLA 모델에 동일한 개입을 적용하여 추가적인 발견을 했습니다. 모든 아키텍처는 지시 사항을 인코딩하며, 목표 선택과 운동 생성은 VLM과 전문가 경로로 분리된다는 것을 확인했습니다. 행동을 보존하는 SAE 풀링은 아키텍처별로 다르고, 목표 선택과 운동 생성은 구별 가능할 때 VLM과 전문가 경로로 분리됩니다.

연구진은 520개 이상의 훈련된 SAE, 79개의 식별된 개념, 그리고 점수가 매겨진 UR10e 롤아웃을 포함하는 모든 것을 다루는 대화형 플랫폼인 Action Atlas를 공개했습니다. 이 플랫폼은 개발자들이 VLA 모델의 작동 방식을 탐구할 수 있도록 돕습니다.

코딩 에이전트를 훈련할 때 일반적으로 하네스(harness)를 고정하고 정책만 업데이트하는데, 이 과정에서 작업별로 달라지는 결함 있는 복구 전략과 상호작용 문제가 발생합니다. 이를 해결하기 위해 강화 학습(RL) 과정에서 정책과 하네스를 동시에 훈련하고 적응시키는 HarnessAdapt-RL을 제안합니다.

이 방법은 결함 있는 복구 전략을 위해 고정된 교사 모델이 작업별 메커니즘 수준 기술을 생성하고, 작업 전반에 걸쳐 발생하는 상호작용 문제를 위해 별도의 교사 모델이 도구와 훅을 진화시킵니다. 이 과정에서 도구와 훅의 변경은 관찰된 통과율이나 훈련 가능 비율을 낮추지 않으면서 개선될 때만 유지됩니다. 정책은 적응된 하네스로 훈련되며, 새로운 궤적은 추가적인 적응을 안내합니다.

90억 개의 기본 모델을 사용하여 HarnessAdapt-RL은 SWE-bench Verified, Multilingual, Pro에서 GRPO 대비 pass@1을 각각 9.8, 12.6, 6.4 퍼센트 포인트 향상시키며, 인간이 설계한 OpenHands 하네스와 비교하여 더 우수한 성능을 보였습니다. 또한 메커니즘 수준 기술에서 얻은 이점은 평가 시 제거된 후에도 유지되며, 정책 변화에 따라 도구와 훅을 재진화시키는 것이 초기 버전을 고정하는 것보다 우수합니다.

하지만 배포 시 도구와 훅을 제거할 경우 최대 7.7 퍼센트 포인트의 성능 손실이 발생할 수 있습니다. 따라서 이 훈련은 배포 시에는 기술이 제거된 모델-하네스 쌍, 즉 훈련된 정책과 진화된 도구 및 훅을 생성하는 것을 목표로 합니다.

실제 환경 관측 데이터는 노이즈가 많고 종종 과도한 작업 무관 정보를 포함하고 있어 효과적인 세계 모델링과 계획을 위해서는 관련 없는 정보를 걸러내고 세계 상태 표현으로 추상화하는 것이 필수적입니다. 기존 세계 모델의 인코더는 비적응적(non-adaptive)이어서 작업 무관 정보에 의해 상태 표현이 쉽게 방해받으며, 다양한 작업 요구 사항에 맞춰 관측을 선택적으로 필터링하지 못하는 한계가 있었습니다.

이 문제를 해결하기 위해 본 논문은 작업 조건화된 상태 추출을 통해 구성 가능한 지각(ConfigWM)을 도입했습니다. ConfigWM은 현재 수행할 작업에 대한 언어 설명을 구성 신호로 사용하여 시각 임베딩이 작업별 상태 공간으로 매핑되는 방식을 제어합니다. 이를 통해 현재 작업에 관련된 정보는 보존하면서 작업 무관한 변동성은 억제하여 상태 표현을 생성합니다.

이러한 접근 방식을 통해 노이즈가 점차 증가하는 환경에서 ConfigWM은 기존 방법들보다 평균적으로 22.3% 더 우수한 성능을 보이며 비교적 안정적으로 유지됩니다. 또한 물리량 탐색(+0.365 Pearson r) 및 방해된 데이터에서 깨끗한 데이터 검색(+75.5%)에서 일관된 이득을 보였는데, 이는 ConfigWM이 방해 요소에 강하면서도 작업 관련 정보를 보존하는 상태를 학습했음을 시사합니다.

결론적으로 ConfigWM은 노이즈가 많은 환경에서도 신뢰할 수 있는 세계 모델링과 계획을 지원하며, 작업 관련 정보를 보존하면서 방해 요소에 강인한 상태 표현을 학습하는 데 기여합니다.

LLM 에이전트는 일반적으로 RLVR로 훈련되지만, 보상의 희소성 때문에 특히 장기 목표를 가진 작업에서 적절한 보상 할당(credit assignment)이 어렵습니다. 이에 본 연구는 자기 생성된 보상으로부터 밀도 높은 감독 신호를 생성하기 위해 그룹 내 재조정(intra-group rescaling)을 통한 자기 생성 보상 할당을 이용하는 종단 간 에이전트 RL 방법인 Self-Credit을 제안합니다.

Self-Credit은 그룹 기반 RL을 바탕으로 세 가지 구성 요소를 갖습니다. 첫째, 정책 모델은 롤아웃 중에 중요한 증거를 포함하는 이전 턴에 대한 인용을 포함한 요약을 생성하여 자기 생성 보상을 제공합니다. 둘째, 동일한 프롬프트에 대한 성공 및 실패 롤아웃에 걸쳐 인용된 행동을 비교하는 그룹 내 재조정을 통해 이 보상을 정제하며, 이를 통해 불필요한 보상을 제거하고 중요한 행동에 할당된 보상을 더욱 강조합니다. 셋째, 이 재조정된 보상 가중치를 사용하여 인용된 턴의 이점을 업데이트하는 이점 재가중(advantage reweighting)을 사용합니다.

BrowseComp-Plus에서 Self-Credit은 Qwen3 8B 모델에서 기본 모델 대비 37.0점, 32B 모델에서 36.2점의 성능 향상을 보였으며, 가장 강력한 에이전트 RL 기준선보다 각각 8.5점과 5.6점 더 높은 성능을 달성했습니다. 또한 GAIA에서는 4.9점, xBench-DeepSearch에서는 4.7점의 성능 향상을 기록했습니다. 분석 결과는 자기 생성된 보상이 중요한 행동을 선택하는 데 유용한 신호를 제공하며, 특히 실패 롤아웃에 대한 그룹 내 재조정은 모델 규모 전반에 걸쳐 중요함을 보여줍니다.

기하학적 상대 위치 인코딩(Geometric Relative Positional Encoding)은 멀티뷰 트랜스포머에 공간적 귀납 편향을 주입하는 주요 메커니즘으로 자리 잡았습니다. 기존 설계는 카메라 시야각이나 레이 마칭 깊이 등 센서 기하학에 기반하여 교차 뷰 토큰을 연관시켰으나, 이는 토큰이 관찰된 위치만을 설명할 뿐 토큰이 나타내는 장면 영역의 풍부한 표면 기하학을 반영하지 못했습니다.

이에 본 논문은 패치 토큰을 물리적 표면의 기하학에 명시적으로 기반하도록 하는 표면 인식 위치 인코딩으로 전환할 것을 제안합니다. 이를 위해 각 패치의 국소 기하학을 경사진 3차원 평면으로 표현하는 HRoPE를 도입했으며, 이는 고전적인 멀티뷰 스테레오의 경사진 지지 창 가정에 따릅니다. 또한 토큰 수준의 평면 유도 호모그래피를 상대 변환으로 어텐션에 주입하여 시점 왜곡을 수정하고 패치 특징을 정렬하는 데 필요한 기하학적 사전 지식을 제공합니다.

HRoPE는 실제 지상 진실(ground-truth) 기하학을 요구하지 않으며, 평면 파라미터는 뷰 합성 목표만으로 종단 간에 예측되거나 기반 모델에서 도출될 수 있습니다. RealEstate10K, CO3Dv2, DL3DV 실험 결과, HRoPE의 최적 변형은 새로운 뷰 합성에서 평가된 기하학적 위치 인코딩보다 일관되게 우수한 성능을 보였습니다.

광범위한 분석을 통해 제안된 인코딩의 효과가 입증되었으며, 이 연구는 멀티뷰 환경에서 표면 기하학을 활용하여 시각적 일관성을 높이는 데 중요한 기여를 합니다.

잠재 세계 모델의 프로토타입인 Joint-Embedding Predictive Architectures(JEPAs)는 강력한 의미론적 표현을 제공하지만, 밀집된 패치 표현은 다운스트림 예측기에게 공간적 조직과 시간적 일관성을 암묵적으로 추론하도록 요구하여 세 가지 문제를 야기합니다. 첫째, 객체 정보가 패치에 분산되어 있어 각 예측기가 상호작용 모델링 전에 재사용될 수 있는 객체 구조를 중복적으로 복구해야 합니다. 둘째, 시간적 변화에 대한 명시적인 엔티티 일관성이 부족하여 과거 전환이 비용이 발생하고 컨텍스트 활용의 유연성이 제한됩니다. 셋째, 명시적인 전송 구조가 없기 때문에 기존 JEPA 모델은 예측된 목표 지원이 크게 분리될 때 공간적 변위에 둔감한 점점별 l1/l2 거리를 사용합니다.

이에 본 연구는 밀집된 표현을 안정적인 의미론적 슬롯과 시간 변화에 따른 공간 마스크로 분해하는 Slot-based Joint-Embedding Predictive Architecture(Slot-JEPA)를 제안합니다. 이 구조는 재사용 가능한 객체 구조 인터페이스를 노출하며, Transition Memory Predictor(TMP)를 사용하여 시각적 전환을 압축된 마스크로 저장하고 슬롯 통계 정보를 통해 유용한 컨텍스트를 검색합니다. TMP는 슬롯별 동역학과 공유되는 교차 슬롯 동역학을 분리하여 처리합니다.

또한, 마스크 예측을 감독하고 후보 계획을 평가하기 위해 Unbalanced Optimal Transport(UOT)를 사용하여 정렬된 예측된 마스크와 목표 마스크 사이의 질량을 전송함으로써 공간적 진행에 더 잘 부합하는 신호를 제공합니다. Slot-JEPA를 통해 재구성된 특징은 일곱 가지 시각 이해 벤치마크에서 전이 가능하며, REALM-JEPA 벤치마크에서 여섯 가지 평면 환경과 네 가지 로봇 팔 계획 작업에 대한 목표 조건부 계획 능력도 향상되었습니다.

다중 에이전트 세계 모델을 확장하는 것은 시간적, 에이전트 간 일관성을 유지하는 여러 에이전트별 비디오 스트림을 생성해야 하므로 어렵습니다. 이러한 문제를 해결하기 위해 OverSeer라는 다중 에이전트 세계 모델이 제안되었는데, 이는 에이전트의 시점(egocentric views)에 보조 카메라 시점(auxiliary camera views)을 추가하여 모델을 개선합니다.

연구진은 공간상에서 보조 시점을 고정하면 이것이 세계 중심 표현(world-centric representation)의 대리 역할을 한다고 제안합니다. 에이전트의 시점은 위치 변화에 따라 완전히 달라질 수 있지만, 보조 시점의 변화는 세계 상태의 국소적인 변화에 직접적으로 매핑됩니다. 이러한 고정된 시점은 모델이 일관성을 유지하는 데 크게 도움이 된다는 것을 보여줍니다.

또한, 보조 시점의 중복적이고 준정적인 특성을 활용하여 델타-VAE(delta-VAE)를 사용하여 효율적으로 압축할 수 있습니다. 델타-VAE는 정적인 참조 이미지 대비 변화만을 인코딩하여 처리해야 하는 토큰 수를 줄여 계산 오버헤드를 크게 감소시킵니다.

마인크래프트와 둠(Doom) 실험에서 세계 및 에이전트 일관성이 향상되었으며, 실제 다중 카메라 캡처에 대한 정성적 결과는 이 접근 방식이 게임 엔진에 구애받지 않는다는 것을 시사합니다. 결론적으로, 고정된 시점은 다중 에이전트 세계 모델을 개선하는 간단하고 효율적인 방법을 제공합니다.

Mixture-of-experts(MoE) 모델은 단일 가속기의 메모리 용량을 초과하는 경우가 많으며, 전문가(expert)를 호스트 메모리로 오프로드할 때 데이터 의존적 라우팅으로 인해 PCIe I/O 병목 현상이 발생합니다. 이 문제를 해결하기 위해 본 논문은 양자화(quantization)를 사용하여 추측 디코딩(speculative decoding)과 전문가 오프로딩을 결합한 추론 시스템인 Specter를 제안합니다.

Specter는 경량화된 양자화된 초안 모델을 장치에서 효율적으로 실행하면서도 높은 충실도의 전문가 활성화 패턴을 보존합니다. 이를 통해 향후 전문가 사용에 대한 정확한 다단계 예측(multi-step lookahead)을 제공하여 런타임이 검증보다 앞서 전문가 이동과 실행을 조직하고 통신 및 실행 효율성을 개선할 수 있게 합니다.

단일 요청 추론에서 Specter는 최첨단 시스템 대비 출력 토큰당 시간(TPOT)에서 평균 1.50배(최대 1.88배)의 속도 향상을 달성합니다. 이 기술은 메모리가 제한된 단일 GPU 환경에서 MoE 추론을 상업용 하드웨어에서 더욱 실용적으로 만듭니다. Specter의 코드는 GitHub에서 공개되어 있습니다.