읽을 가치가 있는 기사만, 짧고 또렷하게.

컴퓨터 사용 분야가 GUI 상호작용을 넘어 시각적 및 프로그래밍 인터페이스를 통해 사용자의 컴퓨터에서 작업을 완료하는 시스템으로 확장되고 있습니다. 이 보고서는 모델이 시각적 및 프로그래밍 인터페이스 전반에서 어떻게 관찰하고, 행동하며, 작업을 조직할지 선택하는 시스템인 범용 컴퓨터 사용 에이전트(GCUA)를 정의합니다. 현재 GPT-6 Astra와 같은 최첨단 구현체들은 설계에 대한 체계적인 연구를 제한하고 있어 그 구조를 심층적으로 분석하기 어렵습니다.

이에 연구팀은 GCUA를 위한 전체 스택을 커뮤니티가 공유하고 개발할 수 있도록 하는 Open Generalist CUA(OpenGCUA) 프로젝트를 소개하며, 이 보고서에서 OpenGCUA의 첫 번째 공개 버전을 제시합니다. 이 에이전트 설계의 핵심 특징은 코드 실행 기능으로, 중간 결과를 바탕으로 후속 작업을 결정하게 하여 모델이 기존 프로그래밍 능력을 컴퓨터 상호작용에 직접 적용할 수 있게 합니다. 또한, 고정된 하네스 규칙에서 선택된 관찰 및 작업 상태 결정을 모델로 이전하는 하네스-투-모델 결정 전달 방식을 제안합니다.

연구팀은 실제 장치 환경에서의 효율성을 측정하기 위해 실제 장치 하네스 및 크로스-디바이스 SDK를 개발했습니다. 이 도구들은 벤치마크에서 충분히 포착되지 않는 실제 장치 문제를 해결하며, SDK는 컴퓨터, 모바일, 브라우저 전반에 걸친 공통 프로그래밍 인터페이스를 제공합니다. 실제 macOS 작업 네 가지에 대해 이 하네스 하에서 실행된 결과, Qwen3.8-Max는 GPT-6 Astra보다 19.4배 많은 추론 토큰을 사용했는데, 이는 실제 장치 실행 효율성에서 모델 간의 상당한 차이를 보여줍니다.

Vision-Language Model(VLM)이 발전함에 따라 입력 이미지 너머의 움직임, 행동, 시점 변화에 대한 시공간 추론 능력이 요구되고 있습니다. 비디오 월드 모델(VWM)은 작업 관련 시각 콘텐츠를 생성하여 시각적 상상에 대한 자연스러운 통합 엔진을 제공합니다. 그러나 기존 접근 방식들은 새로운 시점 합성과 같은 미리 정의된 시각 상상에 초점을 맞춘 고정된 파이프라인을 통해 VWM을 호출하는 데 그쳤습니다.

이러한 다양한 추론 작업을 위한 유연한 시각 상상을 지원하기 위해, 연구진은 VWM을 통합 시각 추론 엔진으로 사용하는 에이전트 프레임워크인 CoWorld Reasoner를 제안했습니다. CoWorld Reasoner는 비디오 월드 모델 기반 하네스를 통해 도구와 기술을 노출하고 사용하여 VLM이 상상하고, 작업을 선택하고, 생성 요청을 구성하며, 결과 시각 증거를 해석하는 과정을 안내하도록 합니다.

또한, 모델 가중치를 고정한 상태에서 실행 피드백을 기반으로 도구, 기술, 실행 코드를 공동으로 수정하는 VLM-VWM 하네스 공동 진화(Co-Evolution)를 소개합니다. 이 방법은 공간 지능, 시간 및 인과 추론, 지각 추론을 포괄하는 일곱 가지 벤치마크에서 CoWorld Reasoner가 동일한 VLM을 사용한 직접 추론보다 우수한 성능을 보였습니다.

가장 강력한 변형 모델은 MMSI에서 11.8%, ERQA에서 13.0%의 상대 정확도 향상을 포함하여 일곱 가지 벤치마크 모두에서 성능을 개선했으며, 다섯 가지 벤치마크에서 동일한 백본을 사용하여 모든 진화형 기준 모델보다 우수한 성능을 달성했습니다.

멀티모달 심층 검색이 짧은 질의에서 지속적으로 증거를 획득하는 장기 탐사로 확장되고 있지만, 이러한 에이전트를 훈련하는 데는 도전적인 훈련 질문의 부족과 불충분한 과정 피드백으로 인해 제약이 따릅니다. 이에 연구진은 제어 가능한 데이터 정제와 공동 강화 학습(RL) 및 온-폴리 정책 증류(OPD)를 결합한 MMSearch-OPD를 제안합니다.

MMSearch-OPD의 Refine 파이프라인은 기존의 간단한 멀티모달 질문에서 파생된 추론 사슬을 목표 지향적으로 확장하는 작업을 수행합니다. 이 과정에서 매개변수화된 변환을 사용하여 검색 깊이와 교차 모달 증거 요구 사항을 제어하며 기존 이미지-질문 쌍을 재사용합니다.

훈련 단계에서는 답변 보상과 경량 행동 페널티가 RL을 안내하고, 보상 격차는 불완전한 학생 궤적에 대한 토큰 수준의 교사 지침을 조절합니다. 또한, 훈련이 진행됨에 따라 교사 의존도를 줄이는 지수적으로 감쇠하는 증류 계수를 사용합니다.

실험 결과는 데이터 정제에서 얻은 이점과 SFT 이후 공동 훈련을 통한 추가 개선이 장기 멀티모달 심층 검색 능력을 강화함을 보여줍니다. 이는 에이전트가 더 복잡하고 장기적인 추론 작업을 수행할 수 있는 기반을 마련합니다.

비전-언어-행동(VLA) 모델은 시각-언어 사전 학습을 통해 습득한 의미론적 지식을 로봇 제어로 전환하여 다양한 벤치마크에서 강력한 성능을 보입니다. 그러나 대부분의 VLA 모델은 중간 물리적 상태 변화에 대한 명시적인 감독 없이 관측과 행동을 직접 매핑하기 때문에 관측-행동 대응 관계에 과적합될 위험이 있습니다. 일부 방법들은 언어, 시각 또는 잠재 공간에서 중간 추론이나 미래 상태 예측을 도입하여 행동 생성을 유도하지만, 물리적 상태 전이 자체를 명시적으로 감독하지는 않습니다.

이에 본 연구는 현재 상태와 미래 상태 사이의 물리적 변화를 명시적인 학습 목표로 사용하는 일반적인 프레임워크인 VLA-Δ를 제안합니다. 이를 위해 작업 관련 의미론과 시각적 움직임 변화를 포괄하는 물리적 상태 전이 주석을 포함하는 대규모 사전 학습 데이터셋을 구축하여 연속적인 행동 생성에 대한 더 직접적인 감독을 제공합니다.

VLA-Δ는 추론 오버헤드 없이 현재 관측으로부터 직접 행동을 생성할 수 있으며, LIBERO 및 RoboTwin에서 최신 기술과 경쟁하는 성능을 달성했습니다. 또한 실제 로봇 실험에서 $\pi_{0.5}$보다 우수한 성능을 입증하여 연속적인 행동 생성 분야에서 새로운 기준을 제시합니다.

해당 연구의 코드는 https://github.com/ZJU-OmniAI/VLA-Delta에서 공개되어 있습니다.

공간 지능은 에이전트가 물리적 세계를 인식하고 행동하게 하며, 이러한 판단은 공간적 관계, 물체의 거리, 배치 위치 등 상호작용 속도에 맞춰 이루어져야 합니다. 기존의 비전-언어 모델(VLM)은 이러한 답변을 자유 형식 텍스트 생성으로 도출하지만, 출력 공간은 선택지, 스칼라 값, 또는 2차원 점과 같이 비교적 제한적입니다. 이에 따라 본 논문은 이러한 세 가지 공간 이해 작업을 통합된 분류 프레임워크 내에서 처리하는 시스템 1 멀티모달 의사결정 모델인 MJev-Spatial을 소개합니다.

MJev-Spatial은 각 후보를 클래스로 간주하고 백본의 사전 학습된 쿼리 및 키 투영을 사용하여 파라미터 추가 없이 점수를 매깁니다. 이는 선택 작업에 대한 후보나 수치 및 점 예측을 위한 거친-세밀 분류를 통해 정제된 이미지 영역과 같은 값 빈을 처리하는 데 사용됩니다. 추론 시 각 분류 결정은 단일 순방향 패스로 이루어지며 답변 토큰을 생성하지 않습니다.

효율적인 훈련을 위해 모든 거친-세밀 단계는 교사 강제 학습과 함께 단일 순방향 패스로 공동으로 지도되며, 여기에 길이 인식 글로벌 배치 및 GPU 간 부하 균형을 결합하여 원래 배치 전략보다 30.8% 높은 훈련 처리량을 달성했습니다. Qwen3.5-4B를 기반으로 1230만 개의 질문-답변 쌍으로 훈련된 MJev-Spatial은 8개 테스트 모델 중 최고 전체 점수(65.64%)를 달성했으며, 12개 벤치마크 중 7개에서 1위를 차지했습니다. 또한, 이 모델은 수정되지 않은 자기회귀 기반 기본 모델보다 모든 12개 벤치마크에서 성능이 우수하며, 가장 빠른 자기회귀 기준선보다 2.5배, 기본 모델보다 5.6배 빠른 속도로 작동합니다.

분산된 에이전트 군집에서 학습된 자기 조직화(Self-Orchestration)를 다루는 새로운 프레임워크인 시장 기반 후처리 학습(Market-based Post-training, MPT)을 소개합니다. 기존의 다중 에이전트 시스템은 개별 에이전트의 능력 학습과 집단 행동 조직화를 분리하여 학습하는 경향이 있었으나, MPT는 분산된 에이전트 군집에서 행동 정책과 자기 조직화를 공동으로 학습하는 방법을 제시합니다.

MPT는 에이전트들이 입찰(bids)을 통해 참여 의사를 표현하고 집단 결과로부터 지역적인 학습 크레딧을 얻는 방식으로 작동합니다. 이러한 행동과 입찰 행위를 함께 학습함으로써 중앙 조정 에이전트 없이도 개별 능력과 참여 패턴이 함께 적응할 수 있게 됩니다. 이 방법은 구체적인 적용 사례인 임체 구현, 로봇 내비게이션, 심층 연구에 대해 평가되었으며, 단일 후처리 학습 방식보다 성능 향상을 입증했습니다.

연구 결과는 에이전트 참여가 학습 과정에 따라 진화하며, 학습된 자기 조직화가 다른 조정 전략보다 우수함을 보여줍니다. 특히, 학습된 입찰이 더 효과적인 행동 학습 신호를 제공하며, 훈련 목표 외에도 학습된 군집은 관련 작업에 더 빠르게 적응하고 추론 시 더 나은 성능을 달성합니다.

더 나아가, 학습된 자기 조직화는 더 큰 모집단에서도 더 나은 성능을 보이며 에이전트 이탈 시 성능 손실이 작다는 것을 입증했습니다. 이는 분산된 에이전트 군집에서 재사용, 확장성, 견고성을 지원하며, MPT가 분산 시스템의 확장과 안정성에 기여할 수 있음을 시사합니다.

최근 옴니 언어 모델(OLM)의 발전에도 불구하고 기존의 영상 캡셔닝 접근 방식은 캡셔닝을 비정형 텍스트 생성 과정으로만 취급하여 영상의 내재된 의미 구조를 간과하고 미세한 시청각 정렬에 한계가 있었습니다. 이러한 격차를 해소하기 위해 본 연구는 캡션을 원자적인 시청각 이벤트로 분해하고 비정형 텍스트 지도 학습을 이벤트 중심 정렬로 변환하는 새로운 프레임워크인 EVA-Cap을 제안합니다.

EVA-Cap은 이벤트 중심 품질 관리를 통해 구축된 자체 선별 데이터셋 EVA-Data를 사용하여 지도 미세 조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 통해 학습됩니다. 특히 GRPO 단계에서는 모델을 전역 이벤트 완전성, 이벤트 내 귀속, 이벤트 간 동기화라는 세 가지 이벤트 중심 정렬 목표에 대해 명시적으로 최적화합니다.

실험 결과, EVA-Cap은 이벤트 중심 평가에서 기존 방법들을 크게 능가하는 성능을 보였으며, ChronusAV에서는 평균 9.0%의 이득을 달성했습니다. 또한, 일반적인 시청각 캡셔닝 벤치마크에서도 WorldSense에서 3.3%의 경쟁력 있는 성능을 입증했습니다.

대규모 언어 모델 에이전트가 도구 사용을 위해 긴 일련의 호출을 수행할 때, 기존 설계는 단일 강력한 모델이 모든 단계를 생성하는 방식이었습니다. 하지만 많은 단계는 훨씬 작은 모델로도 충분히 처리할 수 있습니다. 이 연구는 강력한 모델이 각 단계의 작성자가 아니라 약한 모델이 작성한 초안을 검토하는 역할을 수행하도록 하는 협업 프로토콜인 SpecAgent를 제안합니다.

SpecAgent는 약한 모델이 읽기 전용 도구 호출을 실행하여 모든 단계를 실제 관찰에 기반하도록 하고, 강력한 모델이 이 초안을 단일 프리필 패스로 검증하여 의미적으로 유효한 가장 긴 접두사를 확정하고 거부된 단계를 수정합니다. 이러한 검증 과정은 자기회귀 디코딩 대신 병렬 프리필을 사용하여 강력한 모델이 모든 단계를 생성하는 대신 짧은 판단과 필요한 수정만 수행하게 합니다.

실제 실험 결과, SpecAgent는 $\tau^2$-Bench에서는 강력한 모델의 성공률에 근접하면서 메모리 트래픽과 벽 시간을 절반으로 줄였습니다. 또한 AutomationBench와 VitaBench에서는 품질 격차의 44~75%를 회복하면서 두 지표를 동시에 낮추는 데 성공했습니다.

특히 세 개의 클라우드 모델을 사용하는 엣지-클라우드 배포 환경에서 SpecAgent는 약-강 품질 격차의 53~75%를 해소했으며, 강력한 모델이 생성하는 토큰 수를 최대 절반으로 줄였습니다. 이는 강력한 모델이 에이전트의 모든 단계를 작성할 필요가 없으며, 검증된 초안을 통해 품질을 유지하면서 지연 시간과 메모리 트래픽을 크게 절감할 수 있음을 시사합니다.

범용 비전-언어-행동(VLA) 모델이 다양한 오픈 월드 조작을 가능하게 했지만, 실제 로봇 지원을 위해서는 개인화와 신뢰할 수 있는 실행이라는 두 가지 핵심 능력이 부족합니다. 예를 들어, "샌드위치를 만들어 줘"와 같은 지시를 수행하려면 단일 일반 솔루션에 의존하는 대신 지속적인 사용자 선호도에 기반하여 하위 작업 분해를 근거해야 합니다. 또한, 신뢰성 있는 배포를 위해서는 위험을 사전에 방지하고 일시적인 물리적 실패로부터 우아하게 복구하는 설명 가능한 안전 보장이 필요합니다.

이러한 격차를 해소하기 위해 연구진은 고정된 VLA 정책을 보강하는 이중 루프 하네스인 CarryOn을 제시했습니다. 계획 루프는 새로운 관측에 지속적으로 근거하고 상호작용을 통해 수정되는 지속적인 사용자 수준 및 장면 수준의 컨텍스트를 유지하여 대화와 변화하는 장면 전반에 걸쳐 개인화된 작업 선택과 실행 근거를 가능하게 합니다.

실행 루프는 정책 실행을 적극적으로 감독하여 행동을 예측된 위험 접촉으로부터 보호합니다. 실행이 실패할 경우 시스템은 재사용 가능한 제어 기반 복구 기술을 호출하여 작업 진행 상황을 복원하며 이전 실패에 대한 반성을 통해 이를 개선합니다.

실제 로봇과 시뮬레이션 환경에서 CarryOn은 사용자 및 장면에 걸쳐 선호도 일관성을 유지하는 하위 작업을 배포하며, 이미 안전하게 미세 조정된 VLA의 위반율을 52.6%에서 6.1%로 감소시킵니다. 또한, 개선된 기술을 재사용할 경우 복구 성공률을 13%에서 80%로 증가시킵니다.

기존 에이전트 강화 학습 방법들은 상호작용이 하나의 연속적인 컨텍스트 내에서 진행되는 단일 세션 궤적을 가정합니다. 하지만 컨텍스트 압축이나 서브 에이전트 포킹과 같은 에이전트 기술은 여러 세션에 걸친 궤적을 생성할 수 있어 단일 세션 훈련 가정과 추론 시 실행 간의 불일치가 발생합니다. 이러한 문제를 해결하기 위해 본 연구는 궤적 내에서 임의의 수의 세션을 지원하는 보다 일반적인 설정인 멀티 세션 에이전트 강화 학습을 도입합니다.

이러한 설정에서 널리 사용되는 방법은 궤적 수준의 이점을 모든 세션에 브로드캐스트하는 방식이지만, 이는 다양한 세션 간의 기여도를 구별하지 못하거나 궤적 내 세션 할당을 안내하지 못하는 한계가 있습니다. 이에 연구진은 비평가 없는 계층적 최적화를 사용한 멀티 세션 에이전트 RL 방법인 Mosaic을 제안합니다. Mosaic은 궤적 수준에서 세션 사용 신호를 이점 추정에 통합하고, 세션 수준에서는 추정된 한계 기여도에 따라 각 세션의 이점을 조정합니다.

BrowseComp 실험에서 Qwen3.5-4B 모델을 사용하여 진행한 결과, Mosaic은 컨텍스트 압축 및 서브 에이전트 포킹 시 브로드캐스팅보다 우수한 성능을 보였으며 평균적으로 더 적은 세션을 사용했습니다. 추가 분석을 통해 Mosaic이 세션 유용성과 할당을 개선함을 확인했으며, 이는 멀티 세션 에이전트 강화 학습의 향후 발전을 위한 유망한 목표가 될 수 있습니다.

대화형 에이전트가 행동, 레이블 또는 순서형 결과 중에서 제한된 선택지를 반복적으로 선택할 때, 각 선택에 대해 자유 형식의 응답을 생성하는 것은 지연 시간을 증가시키고 모델과 환경 간의 인터페이스를 복잡하게 만듭니다. 이에 본 논문은 텍스트와 선택적 이미지를 통해 구조화된 선택지와 후보 확률을 반환하는 0.8B, 2B, 4B 규모의 멀티모달 의사결정 모델인 Intern-Decision을 제시합니다.

Intern-Decision은 자기회귀 마스킹 언어 모델링 목표를 사용하여 완전한 어시스턴트 JSON 골격의 각 필드에 하나의 의사결정 자리 표시자를 배치합니다. 모든 필드는 백본의 언어 모델 헤드를 사용하여 단일 인과적 순방향 패스에서 평가되며, 이는 효율적인 의사결정 구조를 가능하게 합니다. 특히 4B 모델은 7가지 평가 스위트에서 무가중 평균 정확도 90.02%를 달성했으며, 이는 Jev v1.13.0의 88.74%보다 높습니다.

또한, 온도 스케일링을 적용하여 예측된 다중 클래스 브라이어(multiclass Brier)를 0.628에서 0.550으로, 예측 보정 오차(expected calibration error)를 0.213에서 0.089로 감소시켰습니다. 111개의 공개 Jevbench-Hard 항목에 대한 신뢰 기반 핸드오프 연구에서는 42개 항목을 Atria-Dawn-Preview로 라우팅함으로써 정확도를 82/111(73.87%)에서 97/111(87.39%)로 향상시켰습니다.

이러한 결과는 더 큰 에이전트 시스템의 실용적인 구성 요소로서 컴팩트한 의사결정 모델이 가능함을 뒷받침합니다. 4B 모델의 경우, RTX 4090에서 289 토큰 요청에 대해 평균 지연 시간은 44.16ms였으며, 더 작은 모델들은 약 33~34ms의 지연 시간을 보였습니다.

시계열 파운데이션 모델은 강력한 제로샷 예측 능력을 제공하지만, 실제 애플리케이션에 배포하기 위해서는 모델 입력과 출력에 대한 특정 작업별 설계가 여전히 필요합니다. 직접 추론만으로는 도메인 지식이나 반복적인 예측 오류를 해결하지 못하며, 맞춤형 파이프라인을 구축하려면 상당한 인간의 전문 지식과 노력이 요구됩니다.

이에 연구진은 고정된 예측 모델 주변에 대한 자기 개선 에이전트 배포 시스템인 TimeRSI를 소개합니다. 이 시스템은 코딩 에이전트를 사용하여 작업 설명을 실행 가능한 파이프라인 변경 사항으로 변환하고, 과거 예측 창에서 각 수정을 테스트한 후 관찰된 오류를 바탕으로 다음 수정을 안내합니다. 배포 과정에서는 유사한 조건에서 완료된 예측을 사용하여 적응형 선택기가 결과 파이프라인 중에서 최적의 파이프라인을 선택합니다.

TimeRSI는 TIME 및 fev-bench에서 198개 작업에 걸쳐 6점 및 확률적 예측 측정 기준에서 모든 제출물을 능가하는 성능을 보였습니다. 이러한 통제된 비교는 비반복적 파이프라인 검색보다 피드백 기반 수정의 가치를 뒷받침합니다. 또한 다양한 코딩 에이전트와 예측 모델에 걸쳐 일반화 능력을 검증하여 TimeRSI의 확장성을 확인했습니다.

연구팀은 코딩 에이전트가 대규모로 편집 가능하고 검증 가능한 3D 콘텐츠를 생성할 수 있도록 지원하는 연구 생태계인 3DCodeVerse를 소개합니다. 이 시스템은 실행 가능한 3D 코드의 대규모 고품질 데이터셋, 공간 추론 및 자동 검증을 위한 코딩 하네스, 그리고 3D 코딩에 대한 실용적인 지침으로 구성되어 있습니다.

첫 번째로 3DCodeVerse-2M이라는 대규모 선별된 데이터셋을 구축했는데, 이는 독립적으로 실행 가능한 3D 실행 코드의 모음입니다. 이 데이터셋은 오픈 소스 데이터를 수집하고, 특수 표현을 변환하며, 코딩 에이전트를 통해 새로운 프로그램을 생성하여 구축되었습니다. 각 프로그램은 실행에 필요한 소스 파일과 관련 에셋, 그리고 검증 기록을 포함하여 환경에서 실행될 수 있도록 패키징되어 있습니다.

두 번째로 3D 콘텐츠를 생성하고 개선하기 위한 다중 에이전트 방향성 비순환 그래프 프레임워크인 3DCodeVerse 하네스를 개발했습니다. 이 하네스는 실행 확인, 공간 측정, 시각적 피드백을 사용하여 인간의 피드백 없이 생성된 프로그램을 자동으로 평가하고 수정합니다.

연구팀은 이 하네스를 통해 3D 코딩에 대한 체계적인 실증 연구를 수행했으며, 미세 조정된 오픈 모델을 기준으로 기준선을 설정하고 하네스의 구성 요소 수준 분석을 통해 실용적인 지침을 도출했습니다. 광범위한 실험 결과는 이 데이터셋으로 미세 조정을 수행하는 것이 오픈 소스 모델의 3D 코딩 능력을 크게 향상시킨다는 것을 보여줍니다. 특히 3DCodeVerse 하네스는 Claude Opus 5.5를 사용하여 Claude Design(3D Object)에 대해 쌍방향 인간 평가에서 90%의 승률을 달성했습니다.

재귀적 자기 개선은 AI 시스템이 더 강력한 AI 시스템을 구축하는 경로 중 하나로, 초지능으로 가는 유망한 길로 연구되고 있습니다. 연구팀은 현재 측정 가능한 약한 형태인, 프론티어 에이전트가 공개 데이터를 사용하여 소규모 원본 베이스 모델을 후처리하는 능력을 테스트했습니다. 이를 위해 연구팀은 실제 GPU에서 자율적인 후처리 연구(AutoPostTrain)를 수행하는 오픈 에이전트 기반 시스템인 Athanor를 개발했습니다.

Athanor는 에이전트에게 완전한 연구 자율성, 낮은 마찰의 엔지니어링 도구, 효율적인 시작 코드를 제공하며, 에이전트가 데이터 읽기, 훈련 데이터 구축, 알고리즘 수정, 하이퍼파라미터 조정, 결과 분석을 통해 스스로 연구를 수행하도록 합니다. 이 시스템은 평가, 관리된 작업, 데이터 정제, 지속적인 연구 기록 및 에이전트가 알지 못하는 보류 데이터 세트 등의 서비스를 제공하여 연구 환경을 지원합니다.

실제로 104시간 캠페인에서 네 개의 Claude Opus 5.5 에이전트 팀은 외부 연구 조언 없이 Qwen3-4B-Base 모델을 개선하는 작업을 수행했습니다. 이 에이전트들은 공개된 추론 데이터에 대한 SFT, 특정 에이전트가 도입한 롤아웃 변경을 포함한 RL, 에이전트 간의 가중치 병합, 그리고 자기 증류 과정을 재조합하여 목표를 달성했습니다.

이 캠페인의 결과는 에이전트 팀이 평균적으로 공식 instruct 버전을 능가하는 교차 도메인 일반화 모델을 자율적으로 후처리할 수 있음을 보여줍니다. 이는 오늘날의 에이전트들이 해당 작업을 수행할 수 있는 엔지니어링 및 연구 능력을 갖추고 있음을 의미하며, Athanor가 자율적인 AI 연구를 확장하기 위한 기반을 제공할 것으로 기대됩니다.

Gemini 4 Argon 에이전트 네 개가 마인크래프트 생존 세계에서 엔더 드래곤을 물리치는 데 성공했습니다. 이 에이전트들은 오픈 소스 라이브러리인 Mineflayer를 통해 플레이어를 제어하고 게임 내 채팅과 공유 메모리를 통해 팀원들과 협력했습니다. 연구팀은 역할 분담이나 게임 로직을 지정하지 않았으며, 에이전트들이 스스로 계획을 세우고, 프로그램을 작성하고, 디버깅하는 전 과정을 수행하게 했습니다.

이 에이전트들은 무작위로 생성된 쉬운 난이도의 세계에서 시작하여 총 2,783개의 프로그램을 작성했으며, 27시간 14분 만에 드래곤을 물리쳤습니다. 이 과정에서 에이전트들은 605번이나 사망하는 경험을 했으며, 이는 AI 에이전트가 인간의 개입 없이 복잡한 목표를 달성하는 엔드투엔드 자율 완수를 이룬 최초의 사례로 알려져 있습니다.

이 성과는 인간이 미리 탐색한 시드나 게임 특화 도구를 사용하지 않고 표준 Mineflayer 라이브러리만을 사용하여 달성했다는 점에서 주목할 만합니다. 승리를 위해서는 에이전트들이 하루 이상 수천 개의 종속적인 단계에 걸쳐 일관된 계획을 유지해야 했습니다.

이는 복잡한 실제 소프트웨어 엔지니어링 및 기업 과제가 요구하는 장기적인 코딩과 다중 에이전트 조정 능력이 동일하게 필요함을 시사합니다. 연구팀은 이 실험을 통해 작업 분담, 학습 공유, 아이템 회복 등의 전략과 결과의 한계점 등을 상세히 설명하고 있습니다.

스트리밍 비전-언어 모델(VLM)은 현재 관찰과 사용자 질문에 반응하면서 과거 정보를 지속적으로 통합해야 하는 과제를 안고 있습니다. 기존의 메모리 메커니즘은 과거 관찰을 압축하거나 검색하여 입력 컨텍스트에 다시 도입함으로써, 역사적 기억과 현재 관찰이 제한된 컨텍스트를 두고 경쟁하게 만듭니다.

이에 연구진은 과거 컨텍스트를 경량 파라미터 업데이트로 내재화하는 스트리밍 메모리 프레임워크인 MaLoW를 제안했습니다. MaLoW는 순환형 HyperNetwork를 사용하여 들어오는 비디오 관찰을 고정 크기의 LoRA 가중치로 점진적으로 통합하며, 이를 통해 전체 비디오 스트림을 다시 검토하지 않고도 역사적 정보를 전달할 수 있게 합니다. 이 접근 방식은 역사를 가중치로 표현하고 현재 관찰을 입력으로 유지하여 효율적인 정보 통합을 가능하게 합니다.

MaLoW의 훈련을 지원하기 위해 연구팀은 56K 비디오에 걸친 381K개의 질문-답변 쌍을 포함하는 대규모 스트리밍 비디오 데이터셋인 MaLoW-Instruct를 구축했습니다. 실험 결과, MaLoW는 OVO-Bench, StreamingBench, StreamArena에서 강력한 성능을 달성했습니다. 특히 OVO-Bench의 역방향 분할에서 MaLoW는 다양한 비디오 백본에 걸쳐 기존 메모리 접근 방식보다 3.9%에서 11.8% 더 나은 성능을 보였으며, 오버헤드는 미미했습니다.

또한 MaLoW는 스트리밍 비디오 이해를 넘어 비전-언어-액션 모델로 일반화되어 Simpler WidowX에서 액션 성공률을 9.3% 향상시켰습니다. 이는 MaLoW가 장기적인 비디오 기록을 효율적으로 처리하고 현재 정보를 반영하는 데 효과적인 방법임을 입증합니다.

비디오 월드 모델은 행동과 카메라 움직임을 긴 시각적 롤아웃으로 변환하여 상호작용 시뮬레이션을 위한 자연스러운 인터페이스를 제공하지만, 일관된 롤아웃을 위해서는 이미 생성된 내용에 대한 시각적 기억을 유지해야 합니다. 현재 청크 분할 비디오 확산 모델은 이 컨텍스트를 증가하는 KV 캐시에 저장하는데, 이로 인해 후속 청크의 처리 속도가 점차 느려지는 병목 현상이 발생합니다.

이러한 병목 현상을 해결하기 위해 연구진은 스트리밍 지오메트리에서 얻은 프러스텀 슬랩 대응 관계를 사용하여 영역 수준의 컨텍스트 선택을 위한 학습 불필요 어텐션 라우터인 Velox를 제안합니다. Velox는 과거 블록을 깊이 간격이 있는 카메라 프러스텀 슬랩으로 표현하고, 최근 우선 멀티워프를 통해 현재 블록의 깊이를 얻어냅니다. 잘 덮인 영역에서는 프러스텀 슬랩의 겹침이 각 레이어의 모델 기반 블록 중요도를 부드럽게 조절하며, 덮이지 않은 영역에서는 기하학적 편향 없이 모델 기반 경로를 유지합니다.

이 접근 방식은 플래시어텐션 스타일의 타일 실행과 일치하는 고정된 토큰-블록 세분성을 제공하여 롤아웃 길이에 따라 증가하는 어텐션 항을 줄입니다. Velox는 H200에서 비동기적으로 디노이징과 함께 프러스텀 슬랩을 구성할 수 있으며, 청크 48에서 어텐션을 4.36배, 디노이징을 2.43배 가속시켰습니다. 또한, 전체 158개 케이스의 WBench 내비게이션 분할에서 Dense LingBot-Fast-Cam의 평균 포인트 대비 0.15 이내의 성능을 유지했습니다.

강화 학습을 통해 시각 생성 모델을 사전 학습 목표를 넘어 보상 신호에 맞추는 것은 가능하지만, 기존의 스코어 함수 방법들은 역 노이징 궤적을 교란하여 확률적 요소를 도입하고 이는 비용이 많이 드는 롤아웃 기반 최적화를 초래합니다. 연구진은 생성기의 원래 샘플러를 보존하면서 생성기 내부에서 확률적 탐색을 도입할 수 있는지에 초점을 맞춥니다.

이를 해결하기 위해 라우팅 정책 최적화(Routing Policy Optimization, RPO)는 어텐션 라우팅을 확률적 탐색 행동으로 전환하여 이 질문에 답합니다. RPO는 선택된 노이징 레벨에서 각 쿼리 블록이 자체 블록을 유지하고 생성기의 고유 어텐션 질량에 비례하여 추가 키 블록을 샘플링하거나 밀집 어텐션을 유지하도록 합니다. 샘플링된 경로는 해당 전환의 속도를 교란하며, 밀집 속도 주변의 가우시안 사후 확률이 스코어 함수 목표를 사용하여 이 교란을 평가합니다.

RPO는 또한 제어된 두 번의 롤아웃 추정기를 사용하는데, 두 롤아웃은 동일한 프롬프트, 초기 잠재 벡터, 라우팅된 노이징 레벨 및 밀집 앵커 레이어를 공유하지만 샘플링된 어텐션 경로는 다릅니다. 이들의 보상 차이는 라우팅된 전환에 대한 이점 신호를 제공합니다. 이 확률적 평가 덕분에 학습된 업데이트는 라우팅이 제거된 후에도 효과적으로 유지되며, 추론 시 RPO는 밀집 어텐션을 복원하고 원래의 결정론적 샘플러를 유지합니다.

텍스트-이미지 및 텍스트-비디오 생성에 대한 실험 결과는 RPO가 생성 품질을 향상시키면서 Flow-GRPO 스타일 방법보다 거의 4배 높은 훈련 효율성을 달성했음을 보여줍니다. 이 연구는 RPO를 통해 확률적 탐색을 도입하면서도 생성 품질과 효율성을 동시에 개선하는 방법을 제시합니다.

강화 학습(RL)을 통해 비전-언어 모델(VLM)에서 전문화된 시각 능력을 이끌어낼 수 있지만, 이질적인 목표를 공동 최적화할 때 능력 간의 기울기 충돌이 발생합니다. 전문가를 독립적으로 훈련하면 이러한 간섭을 완화할 수 있지만, 직접적인 보상 최적화는 전문 지식과 보상 해킹 편향을 얽히게 할 수 있습니다.

본 논문은 이러한 문제를 해결하기 위해 스킬 분리 온-폴리 전문가 증류(Skill-Decoupled On-Policy Expert Distillation, SCOPED)를 제안합니다. SCOPED는 능력별 전문가를 훈련하고 보상 기반 반성을 통해 명시적인 기술을 추출하는 방식으로 작동합니다. 온-폴리 증류 과정에서 이러한 기술은 전문가의 감독을 안내하지만 통합된 학생에게는 제공되지 않아, 추론 시점에 명시적인 기술 없이 절차적 지식을 내재화하도록 장려합니다.

여덟 가지 멀티모달 벤치마크에서 SCOPED는 백본 모델 및 혼합 능력 RL보다 일관되게 우수한 성능을 보이며, 독립적으로 획득한 능력을 통합하는 데 있어 스킬 분리 온-폴리 전문가 증류의 효과를 입증합니다. 추가 분석 결과, 공동 능력 최적화 중 간섭이 발생하며, 스킬 증강이 보다 일관된 전문가 궤적, 작업 관련 시각 증거에 대한 더 큰 주의, 그리고 통합된 학생 내에서 전문 지식의 더 나은 보존을 촉진함을 시사합니다.

모든 코드와 데이터는 https://github.com/NEUIR/SCOPED에서 확인할 수 있습니다.

코딩 에이전트의 능력이 향상됨에 따라, 견고한 평가를 위해서는 더 광범위하고 다양한 소프트웨어 엔지니어링(SWE) 작업 공급이 필요합니다. 하지만 실제 작업은 이슈 보고 빈도와 수동 선별의 높은 비용으로 인해 제약받고 있으며, 기존의 합성 접근 방식은 대규모 모델의 사전 학습된 지식과 휴리스틱 프롬프팅에 의존하여 소프트웨어 실패의 진정한 복잡한 메커니즘을 포착하지 못하는 한계가 있습니다.

이러한 문제를 해결하기 위해 우리는 실제 소프트웨어 수정 사항을 역공학하여 현실적인 이슈를 자동으로 합성하는 프레임워크인 SWE-at-Scale을 소개합니다. 이 방법의 핵심 통찰은 실제 수정 사항을 뒤집는 것이 실제 개발 시나리오에 기반한 버그 유도 감독을 복구 감독으로 전환하여 버그 발생에 대한 깊은 기계적 지식을 담고 있다는 것입니다.

SWE-at-Scale은 이러한 학습된 버그 패턴을 새로운 코드 맥락으로 전이하여 다양한 버그 유형을 반복적으로 샘플링함으로써 실행 가능한 SWE 작업을 구성합니다. 실험 결과, SWE-at-Scale은 기존 합성 기준선보다 더 다양하고 현실적인 SWE 작업을 생성하며 최첨단 코딩 에이전트에게 더 큰 도전을 제기합니다.

특히 SWE-at-Scale은 단일 코드 컨텍스트에서 뚜렷한 버그 유형을 생성할 수 있으며, 파일당 200회 반복까지 버그 다양성이 견고하게 확장됩니다. 결과적으로 SWE-at-Scale은 유한한 실제 수정 사항을 현실적이고 다양하며 도전적인 SWE 작업을 확장 가능하게 합성하기 위한 재사용 가능한 감독으로 전환합니다.