읽을 가치가 있는 기사만, 짧고 또렷하게.

비전 언어 모델(VLM) 에이전트가 시각적 피드백과 행동 기본 요소를 통해 로봇을 제어할 때 반복적인 모델 호출과 불필요한 관찰로 인해 상당한 토큰 오버헤드가 발생합니다. 이에 본 연구는 피드백 기반의 기본 요소 조합과 선택적 관찰을 결합하는 상호 작용 코드 실행 프레임워크인 PyRUA-Lean을 제안합니다.

PyRUA-Lean은 에이전트가 고전적인 로봇 기본 요소와 학습된 시각-언어-행동(VLA) 정책을 조건 확인 및 로컬 재시도를 수행하는 파이썬 셀로 조합하도록 합니다. 이 프레임워크는 계획 수립을 위해 명시적으로 요청된 이미지와 상태 피드백만을 반환하여 효율성을 높입니다.

연구진은 LIBERO-PRO, RoboTwin 2.0, RoboCasa365에서 수행된 700개의 시뮬레이션 작업 인스턴스를 통해 PyRUA-Lean을 GPT-6 Astra 플래너 및 기본 로봇 기본 요소를 사용하는 툴 호출 기준선과 비교했습니다. 동일한 LLM 호출 예산 하에서 PyRUA-Lean은 전체 성공률을 63.1%에서 71.7%로 증가시켰습니다.

또한, 두 에이전트가 해결한 인스턴스에 대해 PyRUA-Lean은 LLM 호출을 49% 줄이고 입력 토큰을 65% 절감하는 효율성을 입증했습니다. 이는 VLM 에이전트의 로봇 제어 작업에서 토큰 오버헤드를 줄이고 성공률을 높이는 데 기여합니다.

비디오 대규모 언어 모델(VideoLLMs)은 시퀀스 순서대로 프레임을 처리하고 시각 콘텐츠의 시간 축 변화를 해석하지만, 여전히 시간적 추론 능력에는 근본적인 약점이 남아 있습니다. 비디오의 프레임 순서를 뒤집는 변환은 시간적 답변을 반전시켜야 하지만 최종 예측 결과는 그대로 유지되는 경우가 많습니다. 연구진은 이러한 실패가 발생하는 원인을 파악하기 위해 시간적 순서 역전으로 인해 발생하는 레이어별 표현 차이인 시간적 발산 벡터 $\tau_l$을 정의했습니다.

이 벡터의 크기를 레이어별로 추적한 결과, 발산은 중간 레이어에서 정점에 도달한 후 출력 방향으로 갈수록 점진적으로 감소하는 일관된 패턴을 보였습니다. 이 정점은 시간적 추론에 특화되어 있으며 예측에 기능적으로 중요함을 확인했으며, 이는 VideoLLMs가 중간 레이어에서 시간 정보를 획득하지만 이를 최종 출력까지 유지하지 못하는 진행성 소실 현상임을 입증합니다.

이러한 점진적인 소실 현상을 해결하기 위해 연구진은 시간 활성화 주입(Temporal Activation Injection, TAI)이라는 방법을 제안했습니다. TAI는 각 입력에 대해 프로파일의 정점에서 $\tau_l$을 추출한 후, 측정된 감쇠를 따라 후속 레이어에 이를 재주입하는 방식으로 작동합니다. TAI는 별도의 학습 과정이 필요 없으며, 세 가지 VideoLLM과 네 가지 벤치마크에서 시간적 추론 능력을 일관되게 개선했으며 비시간적 작업에는 미미한 영향을 미쳤습니다.

거대 언어 모델(LLM)의 일반화 능력은 동일한 입력이 다르게 표현되었을 때 일관되고 의미적으로 안정적인 출력을 생성하는 능력을 의미합니다. 기존 연구들은 단일 프롬프트 형식이나 작업에 대한 집계 정확도를 통해 일반화를 평가해 왔는데, 이는 견고함과 전체 벤치마크 성능을 혼동시킨다는 한계가 있습니다.

본 연구는 성능을 좁은 훈련이나 다른 방식으로 모호하게 만드는 대신, 개별 예시와 여러 입력 변형에 걸쳐 모델 행동의 변화, 즉 변동성에 초점을 맞춰 일반화를 평가합니다. 이를 위해 안정성 인식 일반화 목표(Stability-Aware Generalization Objective, SAGO)라는 프레임워크를 도입했습니다. SAGO는 생성 일관성, 내부 활성화, 신뢰도, 응답 반영 등 여러 차원의 변동성을 측정하여 다양한 변형과 벤치마크 하에서 모델 행동이 얼마나 변화하는지를 포착합니다.

연구 결과에 따르면 많은 널리 사용되는 모델들이 통계적으로 유의미하고 일관된 일반화 불안정성을 보인다는 사실이 밝혀졌습니다. 이는 어떤 모델도 균일하게 일반화되지 않으며, 행동 축들이 독립적인 실패 모드를 포착하고, 데이터셋 간의 변동성이 모델 순위를 뒤바꿀 수 있음을 의미합니다.

코딩 에이전트 파이프라인에서 검색 기반 추측 디코딩(Retrieval-based Speculative Decoding, SD)의 한계를 극복하는 새로운 프레임워크인 AgSpec이 제시되었습니다. 기존 방법들은 에이전트 파이프라인에서 재사용 가능한 텍스트가 누락되거나 에이전트가 출력하는 형식과 다른 형태로 저장되어 있으며, 에이전트별로 허용되는 길이(accept length)가 변동하는 점을 고려하지 못하는 문제가 있었습니다.

AgSpec은 이러한 문제를 해결하기 위해 기존 검색 엔진이 부족했던 코딩 에이전트 파이프라인에 필요한 코퍼스와 추측 길이 정책을 제공합니다. 이 프레임워크는 세션, 작업 공간, 그리고 전체 글로벌 코퍼스에서 정보를 검색하며, 에이전트의 출력 형식에 맞춰 열린 파일을 인덱싱합니다. 또한, 각 에이전트의 추측 길이를 오프라인으로 프로파일링된 상한선으로 제한하고 검증 피드백을 통해 온라인으로 길이를 조정합니다.

두 개의 저장소 레벨 멀티 에이전트 코딩 벤치마크에서 AgSpec은 다른 다섯 가지 검색 기반 드래프터 및 EAGLE-3보다 우수한 성능을 보였습니다. 특히 배치 크기 1에서는 오토회귀 디코딩 대비 최대 4.37배, 배치 크기 16에서는 최대 4.76배의 생성 처리량 향상을 달성했습니다. AgSpec은 저장소나 멀티 에이전트 파이프라인이 없는 벤치마크에서도 효과를 보였기 때문에, 그 성능 향상이 코딩 에이전트를 포함한 광범위한 에이전트에게 적용될 수 있음을 보여줍니다.

Omni-Embed-Mini는 텍스트 임베딩 모델을 새로운 양식으로 확장할 때 발생하는 검색 품질 저하 문제를 해결하며, 텍스트 측 파라미터를 업데이트하지 않고 텍스트, 음성, 오디오, 이미지, 비디오 등 다섯 가지 양식의 정보를 단일 공유 코사인 공간에 매핑하는 0.9B 파라미터 모델입니다. 이 모델은 교사 신호(teacher signal)를 별도의 임베딩 모델 없이 활용하여, 각 미디어 샘플을 밀집된 캡션과 쌍으로 묶고 고정된 백본의 캡션 임베딩을 목표로 삼는 방식으로 정렬을 수행합니다.

모델은 교사와 학생이 동일한 백본 가중치를 공유하므로 바이트 동일한 기하학적 구조를 가지며, 양식 인코더에 경량 프로젝터와 단계적 LoRA 어댑터를 사용하여 정렬을 달성합니다. 훈련 과정에서는 Matryoshka SigLIP 대조 손실과 온라인 하이브리드 하드-네거티브 마이너를 결합하여 인코더가 개선됨에 따라 부정 샘플이 날카로워지도록 합니다.

Omni-Embed-Mini-0.9B는 텍스트 가중치를 백본과 비트 단위로 동일하게 유지하여 텍스트 검색 성능을 저하시키지 않으며, MTEB-v2 BEIR-8 벤치마크에서 49.57 nDCG@10을 기록했습니다. 또한, 이 모델은 비교 대상인 모든 오픈 멀티모달 임베더보다 약 2.7배에서 9.5배 작아 훨씬 효율적입니다. 2.3B 변형 모델은 폐쇄형 gemini-embedding-2와 경쟁할 수 있으며 전체 양식 평균에서 우위를 점합니다.

최근 비디오 생성 모델은 자연어 지시로부터 시네마틱 수준의 시각적 품질을 갖는 영상을 생성할 수 있게 되었지만, 기존 평가 벤치마크들은 시각적 품질, 미적 매력, 물리적 타당성에 주로 초점을 맞추고 텍스트라는 필수적인 정보 매체에 대한 평가를 소홀히 해왔습니다. 생성된 영상이 시각적으로 매력적이고 생생한 피사체를 보여주더라도 장면 내 텍스트를 잘못 렌더링하는 문제가 발생할 수 있습니다.

이러한 간과된 차원을 해결하기 위해 연구진은 비디오 생성 모델의 시각적 텍스트 렌더링 능력을 평가하는 체계적인 벤치마크인 VTR-Bench를 소개합니다. VTR-Bench는 광고나 과학 영상과 같은 구체적인 애플리케이션 시나리오 내에 텍스트를 배치하여 5가지 시나리오 범주에 걸쳐 300개의 신중하게 구성된 프롬프트를 포함합니다. 또한, 이 벤치마크는 텍스트 충실도를 별도로 평가하기 위해 캐리어별 전사 및 장면/모션 요구 사항을 프롬프트별 질의를 통해 평가하는 자동화된 평가 파이프라인을 개발했습니다.

실험 결과, 11개의 최첨단 모델들은 장면 텍스트를 정확하게 렌더링하는 데 광범위한 어려움을 보였으며, 최고 성능 모델은 전체 단어 오류율(WER) 0.250을 기록했습니다. 이러한 발견은 시각적 텍스트 렌더링이 비디오 생성의 핵심 과제임을 강조하며 개선을 위한 실질적인 경로를 제시합니다.

나아가 연구진은 시각적 피드백을 통해 반복적인 개선과 후보 선택을 안내하는 키프레임 기반 에이전트 프레임워크를 도입했습니다. 이 프레임워크는 디렉터 에이전트가 이미지 및 비디오 생성을 시각적 평가와 함께 조정하여 결과물을 정제하는 데 사용됩니다. VTR-Bench의 코드는 GitHub에서 공개되어 있습니다.

인간형 로코 모션(loco-manipulation)을 위한 보상 프로그램의 테스트 시간 진화(Test-Time Evolution)를 연구하는 InterEvolve는 컨트롤러가 훈련받지 못한 작업을 기존 기술을 재활용하고 자체 시도에서 개선하며 재훈련 없이 해결하는 것을 목표로 합니다. 연구진은 광범위한 컨트롤러가 새로운 작업에 필요한 대부분의 역량을 이미 가지고 있으며, 이 역량이 계획과 제어 사이의 인터페이스를 통해 접근 가능하다고 주장합니다. 이 인터페이스는 접촉이 풍부한 다단계 상호작용을 명시할 수 있으면서도 실행 가능하고 측정 가능하여 실행 피드백이 경험을 통해 계획을 안내할 수 있도록 설계되었습니다.

InterEvolve는 이 인터페이스를 구현하기 위해 두 가지 구성 요소를 개발했습니다. 첫째는 객체 인식 전방-후방(forward-backward, FB) 행동 기반 모델로, 고정된 신체 이전의 객체 잔차를 사용하여 새로운 보상을 신체나 객체에 대한 로코 모션 행동으로 전환합니다. 둘째는 작업을 보상 프로그램으로 지정하는 것으로, 완료 조건과 조정 가능한 상수를 갖는 단계별 보상을 정의합니다.

대규모 언어 모델(LLM) 에이전트는 실행 피드백과 검증된 프로그램 라이브러리를 활용하여 프로그램 구조를 수정하고, 수치 최적화기는 상수를 조정합니다. 이 과정에서 후보 프로그램들이 병렬 시뮬레이션 시나리오를 통해 검증되면서 컨트롤러의 기존 운동 역량을 유도하고 재활용하며 조합하는 새로운 방법을 탐색하여 반복적으로 개선합니다. 실험 결과, 인간이 설계한 보상은 FB 모델의 로코 모션 역량을 충분히 활용하지 못하는 반면, InterEvolve가 진화시킨 프로그램은 때로는 새로운 전략을 통해 이 역량을 해방시킵니다.

이러한 진화된 기술은 시뮬레이션에서 다양한 작업, 복잡한 장면, 장기적인 구성에 대한 행동을 생성하며, 진화된 기술은 에고센트 온보드 인식으로부터 물리적인 유니트리 G1 로봇에서 자율적으로 실행됩니다.

비디오 월드 모델은 에이전트 중심의 시점을 유지하기 때문에 객체가 시야에서 벗어날 경우 그 변화에 대한 직접적인 증거를 잃어 재진입 시 상태와 역학을 보존하지 못하는 문제가 있었습니다. 이를 해결하기 위해 본 논문은 관찰과 행동을 분리하는 World Observer를 제안합니다.

World Observer는 에이전트 중심의 시점을 위한 관점 액터와 선택된 세계 영역을 관찰하는 하나 이상의 파노라마 관찰자를 공동으로 생성하여 객체가 시야를 벗어나더라도 관찰자 내에서 시각적으로 계속 진화하도록 합니다. 이로써 객체가 다시 들어올 때 업데이트된 상태가 반영됩니다.

액터와 관찰자를 공유된 파노라마 소스로부터 왜곡하여 기하학적 일치를 확보하고, 재진입 시 세밀한 외관을 복원하기 위해 고해상도 관점 참조를 제공하는 관찰자 싱크를 도입합니다. 또한 관찰자는 액터와 분리되어 자유롭게 배치하고 여러 위치로 확장하며, 시야 밖의 진화를 유도하기 위한 제어 신호로 구동될 수 있습니다.

이러한 World Observer는 세계 공간 측정 지표와 실제 및 합성 장면을 포괄하는 벤치마크를 통해 시야 밖 역학을 크게 개선하면서도 시각적 충실도, 카메라 제어, 3D 준수 측면에서 경쟁력을 유지합니다.

거대 언어 모델(LLM)은 복잡한 작업을 분해하고 전문가 에이전트를 할당하는 멀티 에이전트 워크플로우를 구축하고 있지만, 이러한 워크플로우를 잘 구축하는 것은 여전히 어려운 과제입니다. 작업의 세분화 정도, 각 하위 작업에 대한 신뢰할 에이전트 선택, 새로운 전문가를 언제 생성할지 등은 워크플로우 설계자가 사전에 결정해야 하는 중요한 사항입니다. 따라서 각 하위 작업이 성공할지 여부는 워크플로우가 실행될 때까지 알 수 없습니다.

워크플로우를 개선하는 과정은 비용이 많이 드는데, 오류를 찾는 것은 보통 참조 답변, 등급화된 결과, 또는 훈련된 평가자를 필요로 하며, 수정은 재실행, 재검색 또는 재훈련을 통해 전체 워크플로우에 적용됩니다. 이에 본 연구는 모든 결정을 하나의 레이블 없는 비용으로 가격을 매기는 InFlowOp를 제안합니다. 이 비용은 에이전트의 역량이 하위 작업이 요구하는 것과 실행에 걸리는 시간을 비교하여 측정합니다.

InFlowOp는 실행 전에 작업 분해의 세분성과 에이전트 할당을 양방향으로 비용에 따라 결정합니다. 실행 중에는 InFlowOp가 워크플로우가 구축되는 과정과 실행되는 과정 모두에 서비스를 제공하는 동일한 비용으로 가장 저렴한 움직임으로 오류를 수정합니다. 또한 멀티 에이전트 협업이 필요한 작업을 평가하기 위해 Braid라는 벤치마크를 도입했으며, 다양한 도메인과 백본에서 InFlowOp는 단일 에이전트 기준선보다 최대 11.97% 높은 성능을 보이며 인플로우 최적화를 통해 9.64%의 성능 향상을 달성했습니다.

실제 기업의 데이터 과학 및 분석 워크플로우는 수많은 테이블에 걸쳐 추론하고 통계 분석을 수행하며 결과에 따라 행동해야 하는 복잡성을 요구합니다. 기존의 텍스트-투-SQL 벤치마크는 쿼리 생성만을 평가하며 정답 키가 자주 틀린다는 문제점이 있어, 실제 데이터 환경을 반영하는 평가 프레임워크가 필요합니다.

이에 연구진은 210개의 데이터 과학 및 분석 과제를 포함하는 평가 프레임워크인 Argo-Bench를 소개합니다. 이 프레임워크는 뉴욕 시의 음식 배달 플랫폼을 실제 규모(2024년 기준 8,100만 건의 주문)로 시뮬레이션하며, 실제 경제학, 사기 패턴, 시장 인센티브 등을 기반으로 현실적인 환경을 구축합니다. 이 시뮬레이션은 오라클 E-비즈니스 스위트 스키마를 모델로 한 235개의 테이블과 75억 행으로 구성된 ERP 창고에 데이터를 내보냅니다.

Argo-Bench의 핵심은 에이전트가 실제 데이터 환경 내에서 추론하고 행동하도록 하는 것입니다. 에이전트는 창고에서 사실을 재구성하여 행동을 취해야 하며, 단순히 쿼리를 생성하는 것을 넘어 부정 계정 차단, 배달원 인센티브 할당, 급여 지급과 같은 실제 행동을 수행합니다. 각 작업에는 창고만을 사용하여 해결 가능성을 입증하는 실행 가능한 참조 솔루션이 제공됩니다.

최고 성능을 보이는 14개의 선도 모델 중 가장 강력한 모델들은 전체 작업의 34.8%에서만 95점 이상의 점수를 얻었으며 평균 59.5점을 기록했습니다. 연구진은 Argo-Bench가 에이전트가 실제 데이터 환경 내에서 이해하고, 탐색하고, 행동할 수 있도록 하는 발전에 기여하기를 기대하고 있습니다.

거대 언어 모델(LLM) 에이전트는 점점 더 복잡한 작업을 수행할 수 있게 되었지만, 상호작용 기록을 메모리에 정리하는 방식만으로는 현재 세계에 대한 일관된 이해를 보장하지 못합니다. 이에 연구진은 추론 시점에 에이전트의 의사 결정 맥락으로 명시적인 신념 상태(explicit belief states)를 구성하고 지속적으로 유지하는 추론 프레임워크인 PoS를 제안합니다.

PoS는 각 신념 상태가 현재 세계 상태 추정치와 해결되지 않은 작업 요구 사항을 결합하여 에이전트가 여전히 학습하고 달성해야 할 목표를 명시적으로 나타냅니다. 이러한 신념 상태를 신뢰할 수 있고 실행 가능하게 유지하기 위해 PoS는 일관성을 검증하고 작업 진행 상황을 모니터링하여 에이전트가 목표를 향해 의미 있는 진전을 이루지 못하는 신념 함정(Belief Trapping)을 감지합니다.

신념 함정이 발생했을 때, PoS는 함정 패턴과 해결되지 않은 작업 요구 사항의 유형에 따라 복구 전략을 맞춤 설정합니다. 실행 및 진단에 걸친 네 가지 벤치마크 실험 결과, PoS는 세 가지 LLM 백본 모두에서 모든 벤치마크에서 가장 높은 전체 성능을 달성했습니다.

추가 실험 결과는 일관성 검증과 복구의 중요성을 입증하며, 컨텍스트 확장 실험은 컨텍스트 성장에 대한 탄력성을 보여줍니다. 이러한 결과는 단순한 기록 보존 및 압축을 넘어 장기적인 컨텍스트 관리를 위한 신념 구성과 지속적인 유지가 핵심임을 뒷받침합니다.

소규모 상인(SMB)을 위한 LLM의 긴 컨텍스트를 활용한 전체 카탈로그 프롬프팅은 대규모 마켓플레이스에 주로 설계된 다단계 검색 방식에 대한 대안으로 제시됩니다. 그러나 전체 카탈로그를 컨텍스트 창에 맞추는 것만으로는 모델이 이를 효과적으로 활용할 수 있다는 보장이 없기 때문에, 연구는 카탈로그를 어떻게 선별하고 제시할지, 그리고 큐레이션된 컨텍스트에서 제품 선택을 위해 LLM을 어떻게 조정할지에 초점을 맞춥니다.

연구진은 학습된 카탈로그 큐레이션과 LLM 후 훈련을 자동으로 생성된 카탈로그 기반 감독을 사용하여 결합하는 엔드투엔드 프레임워크인 RPTune을 제안했습니다. 이 프레임워크는 다운스트림 LLM 피드백에 따라 제품을 정렬하고 가지치기하는 인코더-재구성러 큐레이터를 사용하며, 그 결과로 생성된 큐레이션된 카탈로그는 컨텍스트 상대 보상을 통해 LLM 후 훈련의 효과를 개선합니다.

RPTune은 7개의 실제 상인과 다양한 소매 분야를 포괄하며 각 상인당 100개의 복잡한 대화형 쿼리를 사용하여 평가되었습니다. 이 실험 결과, RPTune은 독점 모델과 오픈 웨이트 LLM 모두에서 검색 정확도를 일관되게 향상시켰습니다. 특히 컨텍스트 큐레이션은 최대 31.4퍼센트 포인트의 이득을 제공했으며, 후 훈련은 평균적으로 10.3퍼센트를 추가적인 이득을 가져왔습니다.

OmniSeek은 Omni 대규모 언어 모델(Omni-LLM)을 능동적인 다중 턴 추론 에이전트로 변환하는 에이전트 프레임워크를 제시합니다. 이 시스템은 전체 오디오-비주얼 시퀀스를 단일 순방향 통과로 수동적으로 처리하는 대신, 추론 과정의 일부로 증거 획득을 수행합니다. 즉, 긴 컨텍스트 내에서 다양한 양식 간의 희소하지만 중요한 증거를 동적으로 검색하기 위해 언제 보고 들을지, 그리고 어떤 시간 창을 사용할지 결정합니다.

OmniSeek은 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 비주얼 세그먼트를 컨텍스트에 다시 추가하여 후속 추론을 지원합니다. 이러한 기능을 시작하기 위해 오디오와 비주얼 증거가 교차된 다단계 사고(Chain-of-Thought) 궤적의 코퍼스인 OmniTraj-170K를 합성하는 데이터 엔진을 구축했습니다. 이 데이터 엔진을 통해 모델은 다중 턴 도구 사용 행동을 내재화하도록 지도 학습되며, 검증 가능한 보상을 통한 2단계 강화 학습으로 정책이 추가적으로 최적화됩니다.

특히, OmniSeek은 양식 간의 추론에 성공한 궤적에 명시적으로 보상을 부여하는 오디오-비주얼 필요성(Audio-Visual Necessity) 목표를 도입했습니다. 이는 단일 양식의 지름길을 억제하고 추론이 두 양식 모두에 의존할 때 성공적인 궤적에 보상을 제공하여 상호 양식적 증거 탐색을 학습하도록 유도합니다.

광범위한 벤치마크 실험 결과, OmniSeek은 적응형 교차 양식 증거 탐색을 학습하고 오디오-비주얼 추론 성능을 지속적으로 향상시키는 것으로 나타났습니다. 이는 멀티모달 추론 작업에서 에이전트가 증거를 능동적으로 찾고 통합하는 능력을 크게 개선했음을 의미합니다.

대규모 언어 모델(LLM)의 강화 학습(RL) 후 훈련에 대한 새로운 가설이 제시되었습니다. 이 가설에 따르면, 후 훈련은 기본 모델의 기존 행동을 단순히 날카롭게 다듬어 단일 시점 정확도(single-shot accuracy)를 향상시키지만, 해결 범위(solution coverage)를 희생시킨다고 주장합니다. 이러한 상충 관계는 수학 및 코딩 작업에서는 관찰되었으나, 후 훈련이 필요한 다중 턴 도구 사용 및 상호작용이 요구되는 에이전트 작업에는 적용되지 않을 수 있습니다.

연구진은 사전 훈련된 LLM이 경량 추론 하네스(light inference harness)를 갖추면 유능한 에이전트 역할을 수행할 수 있다는 놀라운 발견을 했습니다. 정확도(pass@1)는 낮더라도 충분한 테스트 시간 예산이 주어진 경우, 후 훈련된 모델이 해결 범위(pass@K) 면에서 사전 훈련된 모델을 능가하는 경우가 많습니다. 이는 후 훈련이 작업을 항상 해결되거나 해결되지 않는 두 극단으로 몰아넣어 샘플링 효율성과 일관성을 개선하지만, 그 대가로 해결 범위가 줄어들기 때문입니다.

이러한 비용을 측정하기 위해 연구진은 후 훈련 후 테스트 시간 확장성에서 발생하는 손실을 정량화하는 진단 지표인 샤프닝 세금(Sharpening Tax)을 제안했습니다. 또한, 후 훈련 과정에서 에이전트 환경에 적용된 두 가지 환경에서 후 훈련 시 포스트-템퍼드 그룹 샘플링(PTGS)이라는 간단한 베이지안 샘플러를 제시했습니다. PTGS는 프롬프트별 샘플링 온도를 추정된 난이도에 따라 조정하여 고정 온도 기준보다 더 적은 세금을 지불하면서 반복 샘플링을 통해 더 많은 작업을 해결하고 단일 시점 정확도도 개선합니다.

전문적인 비디오 제작에서 카메라와 물체의 움직임을 정밀하게 제어하는 것은 필수적입니다. 기존 방법들은 깊이와 회전에 모호한 이미지 평면 단서나 완전한 기하학적 구조가 부족한 3D 트랙 및 블롭을 통해 물체를 대략적으로 제어하는 데 그쳤습니다.

이에 연구진은 명시적인 4차원 장면 표현을 조건으로 하는 비디오 월드 모델인 4Director를 제안합니다. 이 모델은 각 객체를 입력 이미지에서 한 번만 정규 메쉬로 재구성한 후, 프레임별로 한 번의 규정된 강체 변환을 통해 움직이게 합니다. 이러한 표현 방식은 직관적인 3D 제어 인터페이스를 제공하며, 각 프레임에서 관측되지 않은 기하학적 정보가 독립적으로 재생성되는 것을 방지합니다.

4Director는 이 기하학적 골격을 깊이 비디오로 렌더링하고, 모션 어댑터를 도입하여 이 구조를 비디오로 변환하는 동시에 시각적으로 일관된 외관, 조명, 비강체 역학을 합성합니다. 학습을 위해 자동 파이프라인으로 경계가 명확한 3D 장면으로 주석이 달린 20,774개의 클립으로 구성된 RealCOD-Rigid 데이터셋을 구축했습니다.

또한, 4Director의 객체 움직임 준수와 객체 정체성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 추가로 도입했습니다. 실험 결과, 4Director는 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가하는 성능을 보였습니다.

확산 언어 모델(DLM)은 자기회귀(AR) 언어 생성에 대한 유망한 대안을 제공합니다. 최근 연속 DLM의 발전은 연속 텍스트 임베딩에 잠재 확산을 적용하는데, 이때 어떤 임베딩이 가장 확산성이 좋은, 즉 가장 좋은 잠재 공간을 만드는지에 대한 실질적인 질문을 제기합니다.

연구진은 다양한 임베딩을 탐색한 결과, 동일한 패밀리 내에서 임베딩 모델을 더 강력한 모델로 확장할수록 생성 성능이 크게 향상됨을 발견했습니다. 하지만 원본 T5Gemma-2 임베딩은 너무 구별적이어서 그 성능이 최적은 아니었습니다. 이 임베딩은 그럴듯한 대체 단어의 임베딩까지 분리시키기 때문에, 생성 과정이 불완전한 샘플링에 취약해집니다.

이러한 문제를 해결하기 위해 연구진은 T5Gemma-2를 학생 인코더로 증류하여 교사의 디코딩 확률을 소프트 레이블로 학습시켰습니다. 이러한 학습을 통해 학생 인코더는 인코딩-디코딩 메커니즘을 유지하면서 대체 임베딩들을 더 가깝게 끌어당기게 됩니다. 그 결과로 얻어진 증류된 임베딩은 기존 T5Gemma-2 임베딩보다 더 연결되고 확산성이 좋은 잠재 공간을 형성합니다.

이러한 개선을 통해 연구팀이 개발한 중간 크기의 DLM은 OpenWebText에서 실제 텍스트 엔트로피 기준으로 Gen. PPL 17.8(실제 텍스트 PPL 15.4 대비)을 달성하며, Gen. PPL 측면에서 GPT-2-M을 능가하는 성능을 보였습니다.

GUI 에이전트가 소프트웨어 환경에 대한 반응을 학습하고 상태를 유지하며 다단계 워크플로우를 지원하기 위해서는 고품질의 상호작용 궤적(interaction trajectories)이 필수적입니다. 하지만 사용 가능한 궤적의 다양성은 기반 환경에서 접근 가능한 애플리케이션, 인터페이스 상태, 워크플로우에 의해 제약됩니다. 이러한 커버리지를 확장하려면 점점 더 다양하고 복잡한 소프트웨어를 배포해야 하며, 이는 추가적인 설치, 구성 및 런타임 비용을 발생시킵니다.

이에 연구진은 AutoGUIWorld라는 데이터 생성 프레임워크를 소개합니다. 이 프레임워크는 이미지 생성기의 시각적 사전 지식과 플래너의 작업 지식을 결합하여 실제 소프트웨어 환경을 배포하거나 실행하지 않고도 GUI 상호작용 궤적을 합성합니다. AutoGUIWorld는 운영체제 컨텍스트, 시각적 외관, 인터페이스 상태의 구조화된 사양에서 초기 GUI 장면을 샘플링하고 이를 조건으로 하는 작업을 생성합니다. 이후 플래너는 원자적 행동과 그 의도된 시각적 결과를 지정하며, 이미지 생성기는 현재 스크린샷을 반복적으로 편집하여 후속 관찰 결과를 생성합니다.

이 과정을 통해 행동 접지(Action grounding) 및 전환 수준 품질 필터링을 거쳐 Ubuntu, Windows, macOS, Chrome 전반에 걸쳐 79,266개의 공간적으로 주석이 달린 단계별 훈련 샘플이 확보되었습니다. Qwen3.5-35B-A3B 모델을 AutoGUIWorld 궤적으로 미세 조정했을 때, OSWorld의 평균 작업 점수는 33.0%에서 40.8%로, ScienceBoard의 작업 성공률은 14.0%에서 32.2%로 향상되었습니다. 이러한 결과는 생성된 궤적이 실제 데스크톱 및 과학적 작업에서 GUI 에이전트의 성능을 개선함을 보여줍니다.

복잡한 실제 작업을 해결하기 위해 단일 대규모 언어 모델(LLM)의 능력을 넘어서는 상황에서, 전문 에이전트들을 조정하는 멀티 에이전트 워크플로우가 사용되고 있습니다. 기존 방법들은 실행 결과로부터 더 나은 워크플로우를 구성하는 데 LLM을 훈련시키지만, 워크플로우 생성기만 최적화할 뿐 나머지 에이전트들은 고정되어 있어 모든 결과가 상호 의존적임에도 불구하고 훈련을 확장하기 어렵다는 한계가 있었습니다.

이에 연구진은 워크플로우를 활용하여 워크플로우를 최적화하는 FloWright를 제안했습니다. FloWright는 계층적이고 구조를 인식하는 보상 패러다임을 도입하여 한 역할이 스스로 진화하고 두 개 이상의 역할이 공동으로 진화할 수 있도록 합니다. 이 방법은 추가적인 모델, 레이블, 실행 없이도 에이전트 간의 상호작용을 효과적으로 관리할 수 있게 합니다.

또한, 단일 에이전트가 이미 처리할 수 있는 데이터로 훈련되고 평가되는 워크플로우의 한계를 극복하기 위해 DataWright를 제안했습니다. DataWright는 기존 데이터셋을 난이도가 증가된 워크플로우 수준의 작업으로 변환하는 적응형 데이터 강화 접근 방식입니다. 이 기술을 FloWright로 훈련된 소형 오픈 모델에 적용했을 때, 문서, 슬라이드, 차트, 코드, 수학, 금융 작업 전반에서 최대 7.41%의 성능 향상을 달성했습니다.

특히, 두 개 이상의 역할이 공동으로 진화했을 때 최대 5.03%의 성능 향상을 보였으며, 단일 역할만 최적화했을 때보다 2.83% 더 큰 개선 효과를 보였습니다. 이는 멀티 에이전트 시스템에서 협업을 통해 성능을 극대화하는 것이 매우 효과적임을 보여줍니다.

이 논문은 이산 확산 언어 모델(Discrete diffusion language models)과 연속 확산 언어 모델(Continuous diffusion language models)의 구조적 한계를 극복하기 위해 계층적 연속 확산 언어 모델(Hierarchical Continuous Diffusion Language Models, HC-DLM)을 제안합니다. 기존의 이산 확산 모델은 병렬 디코딩 시 토큰들이 통계적 의존성을 상실하는 구조적 병목 현상을 가지고 있으며, 연속 확산 모델은 잠재 상태가 유효한 토큰 구성과 연결되지 않는 문제가 있었습니다.

HC-DLM은 이 문제를 해결하기 위해 이산 토큰 생성과 연속 잠재 궤적을 단일한 확산 과정 내에서 결합합니다. 이 모델은 토큰의 가능도에 대한 변분 경계(variational bound)에서 도출된 훈련 목표를 사용하여 학습되며, 잠재 상태를 유일한 지속적인 생성 상태로 만듭니다. 토큰은 매 단계마다 잠재 상태에서 읽어내어 다음 잠재 업데이트를 위한 뼈대로 피드백되는 방식으로 작동합니다.

이러한 접근 방식은 기존의 연속 컨텍스트를 이산 체인에 연결하는 방법들과 차별화됩니다. HC-DLM은 잠재 상태를 유일한 생성 상태로 설정하여 토큰이 매 단계마다 추출되고 다음 잠재 업데이트를 위한 기반으로 사용되게 합니다. 실제 실험 결과, HC-DLM은 동일한 모델 크기에서 구조적 추론(Sudoku, Countdown)과 언어 모델링(LM1B) 작업에서 이산 및 연속 확산 기준선 모델보다 성능이 향상되었습니다.

프로그래밍 가능한 월드 모델은 실행 역학과 시각적 생성을 분리하여 차세대 게임 엔진의 기반을 제공하지만, 명시된 규칙과 상호작용에 대한 시각적 준수 여부가 충분히 평가되지 않았습니다. 기존 벤치마크들은 시각적 품질, 제어 가능성, 지침 또는 물리적 준수 여부를 평가하지만, 세밀하게 프로그램이 지정한 세계 이벤트에 대한 충실도를 테스트하지는 못합니다.

이러한 한계를 극복하기 위해 연구진은 PROWBench를 소개합니다. PROWBench는 다양한 장면과 상호작용을 다루는 170개의 프로그램적으로 구성된 에피소드와 600개의 프록시 비디오를 포함합니다. 이 벤치마크는 엔티티 상태와 카메라 시야 밖에 있는 이벤트까지 포함하는 타임스탬프된 이벤트를 재생 가능한 세계 기록으로 기록하여, 이를 통해 동기화된 시점과 프록시 표현을 렌더링합니다.

이 기록을 기반으로 생성된 비디오가 프로그램 실행의 관찰 가능한 결과와 일치하는지 확인할 수 있게 되며, 확장 가능한 프레임워크는 장면을 구성하고 행동을 제어하며 각 카메라 시점을 거친 3D 또는 경계 상자로 렌더링할 수 있습니다. PROWBench는 1인칭 및 3인칭 시점을 모두 다루며, 일부 에피소드에서는 동기화된 다중 시점 관찰이 가능합니다.

이러한 기록을 바탕으로 PROWBench는 엔티티 제어, 장기 기억, 그리고 두 가지 VLM 기반 지표인 Logic-Render Alignment와 Interaction Success Rate를 통해 지정된 시간 순서 준수 및 타임스탬프된 엔진 기록 이벤트의 시각적 실현 여부를 평가합니다.