읽을 가치가 있는 기사만, 짧고 또렷하게.

비전-언어 모델(VLM)은 RGB 입력만으로는 기하학적 증거를 직접 제공하지 못하기 때문에 공간 추론에서 지속적인 약점을 보입니다. 기존 해결책들은 추론 시점에 3D 정보를 주입하여 아키텍처 및 지연 시간 비용을 발생시키거나, 최종 답변만을 감독하는 결과 보상을 사용하여 공간 오류를 해결하지 못했습니다. 이러한 공간 오류는 깊이나 방향의 오판에서 비롯되며, 이는 3D 스캔 소스로부터 제공되는 실제 장면 기하학을 통해서만 수정될 수 있습니다.

본 연구는 기하학적 증거를 온폴리 자기 증류(OPSD)에서 우위를 갖도록 만드는 GPD(Geometry-Privileged Distillation)를 제안합니다. GPD는 각 질문에 대해 깊이, 의미론, 벌새 시점(BEV) 단서를 압축된 텍스트로 변환하여 참조 답변과 함께 교사에게 라우팅합니다. 또한 잘못된 궤적에만 적용되는 특권 KL을 사용하여 GRPO를 보강하며, 배포된 모델은 RGB 전용으로 유지됩니다.

4B 백본에서 GPD는 VSI-Bench에서 57.1점, MindCube, SPARBench, MMSI-Bench, ViewSpatial 전반에서 평균 37.6점을 달성하며, 공간 추론 벤치마크에서 GRPO 및 답변 특권 OPSD를 모두 능가했습니다. 실험 결과는 3D 정보와 답변 특권의 상호 보완성, 전체 컨텍스트 주입보다 질문 조건부 라우팅의 이점, 그리고 증류를 잘못된 궤적으로 제한하는 이점 등을 확인시켜 줍니다.

단일 이미지, 다중 이미지, 비디오 심층 연구는 시각적 접지(visual grounding), 외부 검색, 사실 조합이라는 공통 워크플로우를 공유하지만, 국소적 시각 앵커, 개체 관계, 출처 기반 사실, 답변 생성 작업을 연결하는 종속성을 보존하는 것이 핵심 과제입니다. 이를 해결하기 위해 연구진은 시각적으로 접지된 증거 그래프(Visually Grounded Evidence Graph, VGEG)를 중심으로 하는 통합 에이전트인 OneSearch-VL을 소개합니다.

OneSearch-VL은 이러한 종속성을 데이터 구성, 프로세스 감독, 작업 수준 평가를 위한 공유 참조로 인코딩하는 VGEG를 활용합니다. 이 VGEG 기반 데이터 엔진은 다중 이미지 및 비디오 질문을 구성하고 검증하며 전문가 궤적을 필터링하는 역할을 수행합니다. 또한 이 데이터를 사용하여 SFT 및 RL 학습을 위한 OneSearch-VL-SFT-110K와 OneSearch-VL-RL-10K 데이터셋을 구축했습니다.

추가적으로, VGEG 주석에서 증거 추적 및 시각적 접지를 감독하기 위해 증거 인식 시각적 접지 루브릭 보상(Evidence-aware Visual-Grounded Rubric reward, EVGR)을 도출했습니다. 이를 통해 세밀한 평가를 위해 OneSearch-MI-Bench와 OneSearch-Video-Bench를 구축하여 연구 작업에 따라 질문을 정리했습니다.

실험 결과, OneSearch-VL-8B 모델은 도구 접근 기능이 있는 Qwen3-VL-8B 모델 대비 두 가지 새로운 벤치마크에서 각각 20.2%와 17.6% 포인트의 성능 향상을 보였습니다. 또한 7개의 이미지 벤치마크와 VideoDR 전반에 걸쳐 상당한 성능 향상을 달성했습니다.

다중 에이전트 시점의 자기중심 세계 모델인 ME-World를 제안하여 여러 에이전트가 공유 환경에서 세밀한 행동을 통해 상호작용하는 것을 목표로 합니다. 기존의 다중 에이전트 세계 모델들은 이동이나 카메라 제어와 같은 거친 행동에 의존하여 세밀한 신체 기반 상호작용을 충분히 탐구하지 못했다는 한계가 있습니다.

본 연구는 다중 에이전트 자기중심 세계 모델링을 공유 세계 내에서 세밀한 행동을 통해 상호작용하는 여러 에이전트의 동기화된 에고 스트림 생성으로 정의합니다. 이를 위해서는 서로 다른 시점 간의 행동 일관성, 공유 환경의 일관성, 그리고 상호작용으로 인해 발생하는 상태 업데이트의 일관적인 전파가 필수적입니다.

ME-World는 여러 에고 스트림을 공유 토큰 시퀀스 내에서 공동으로 노이즈를 제거하고, 각 스트림을 모든 에이전트의 목표 시점 자세로 조건화하며, 공유 환경 메모리로 생성을 기반을 다집니다. 연구진은 실제 및 합성 다중 에이전트 데이터로 학습 및 평가를 진행했으며, 환경, 업데이트, 정체성 일관성을 위한 공유 세계 일관성 측정 지표를 도입했습니다.

실험 결과, ME-World는 기존 방법들보다 공유 세계 일관성, 행동 제어, 정체성 보존, 그리고 비디오 품질을 개선하는 것으로 나타났습니다. 이는 복잡한 다중 에이전트 환경에서 세밀한 상호작용을 모델링하는 데 있어 중요한 진전을 의미합니다.

로봇 정책은 대부분 관측을 행동으로 매핑하는 VLA나 런타임에 의사 결정을 위해 VLM을 쿼리하는 에이전트 하네스(Agent Harness)와 같이 모델을 제어 루프에 유지합니다. 본 연구는 구체적인 관점에서 내재된 세계(embodied world)를 로봇과 환경 상태가 테이프이고 정책이 규칙인 내재된 튜링 기계(Embodied Turing Machine)로 보는 새로운 관점을 제시합니다. 이 상태가 정확하게 표현될 수 있다면 의사 결정 전체를 코드로 작성할 수 있습니다.

이를 바탕으로 코드 전용 정책(Code-Only-as-Policy, COAP)을 제안하며, 이는 카메라 이미지와 고유 감각(proprioception)으로부터 로봇, 환경, 작업 상태를 측정하고 이 상태로부터 모든 결정을 내리는 코드입니다. COAP는 에피소드 전반에 걸쳐 동일한 코드를 적용하며, VLM이나 VLA 없이도 라이브러리를 공유할 수 있습니다.

COAP는 VLA나 에이전트 하네스에 비해 세 가지 이점을 제공합니다. 첫째, 상태가 코드에 저장되어 명시적입니다. 둘째, 코드는 의사 결정을 제어 가능하게 만들고 실패로부터 유연하게 복구하며 빠르고 저렴하게 실행됩니다. 셋째, 새로운 작업은 공유 라이브러리를 재사용, 상속 또는 확장하여 작업에 따른 능력이 누적될 수 있습니다.

이러한 장점은 재귀적 자기 개선(RSI)에 적합하며, 코딩 에이전트가 닫힌 루프 내에서 라이브러리를 개발하고 각 변경 사항이 명시적이고 제어 가능하게 만듭니다. 실제로 RoboDojo의 42개 이지맨월 작업에서 COAP를 통해 얻은 라이브러리는 테스트 시점에 모델 없이도 70.24%의 성공률을 달성했습니다. COAP의 상한선은 의사 결정을 위한 상태 표현의 정확도와 코드 논리의 견고성에 달려 있습니다.

텍스트 프롬프팅 방식은 포스터 생성을 위한 간접적인 인터페이스로, 사용자가 본질적으로 두 차원의 구도 의도를 일차원 단어 시퀀스로 인코딩해야 하는 한계를 가지고 있습니다. 이에 연구진은 사용자가 생성 의도를 공간상에서 직접 구성할 수 있도록 네 가지 보완적인 바인딩 유형인 의미(semantic), 정체성(identity), 텍스트(text), 픽셀(pixel)과 개별 요소 및 전체 외관을 위한 텍스트 사양(Text Specifications)을 제공하는 공간 캔버스 인터페이스를 도입했습니다.

이 인터페이스를 기반으로 공간 캔버스 입력과 텍스트 사양을 이해하는 포스터 생성 모델인 Compo를 개발했습니다. Compo는 사용자가 캔버스를 명시적으로 구성하는 직접 추론 모드와 고수준 요청을 계획된 공간 캔버스로 자동 변환하는 에이전트 모드를 모두 지원합니다. 또한, Compo를 효율적으로 학습시키기 위해 다양한 바인딩 유형과 그 조합에 대한 지도 데이터를 자동으로 구성하는 확장 가능한 파이프라인을 개발했습니다.

연구진은 개별 바인딩 유형 및 그 결합에 대한 준수 여부를 평가하는 벤치마크를 제시하며, Compo가 일반적인 이미지 생성 모델이나 전용 포스터 생성 시스템보다 더 강력한 구도 제어 능력을 유지하면서도 높은 시각적 품질을 달성함을 입증했습니다. 이 연구는 의도 명세와 시각적 생성을 분리함으로써 포스터 생성을 단순한 프롬프팅에서 구도 구성(composing)으로 전환하는 패러다임을 제시합니다.

텍스트 기반 이미지 편집에서 원하는 변화를 설명하는 것은 비교적 쉽지만, 특히 여러 객체가 유사할 때 의도된 객체나 영역을 식별하는 것이 까다로운 문제가 있습니다. 이에 연구진은 사용자가 이미지 위에 공간 마크와 선택적 메모를 직접 배치할 수 있는 새로운 이미지 편집 인터페이스를 도입했습니다. 이러한 주석들은 편집할 위치와 변경할 내용을 지정하는 캔버스 지침을 형성하며, VibeEdit이라는 편집기가 별도의 텍스트 프롬프트 없이 이 지침을 따라 객체 추가, 제거, 교체, 속성 수정 및 이동을 수행합니다.

VibeEdit을 훈련하기 위해 객체 마스크와 구조화된 편집 설명을 포함하는 155만 개의 소스-타겟 편집 쌍을 구축하여 캔버스 지침을 학습 데이터로 사용했습니다. 또한, 이미지 편집을 위해 소스 이미지와 캔버스 지침을 분리하여 인코딩하는 레이어 분리 조건화(layer-decoupled conditioning)를 적용하여 Qwen-Image-Edit 모델을 수정했습니다. 모델 훈련은 영역 가중 지도 미세 조정(region-weighted supervised fine-tuning)과 루브릭 기반 강화 학습(rubric-guided reinforcement learning)을 통해 편집 완료도, 국소 편집 품질, 그리고 수정되지 않은 영역의 보존을 개선하는 데 중점을 두었습니다.

연구진은 유사 객체 간의 선택을 강조하는 독립적으로 구축된 419가지 사례로 VibeEdit을 평가했습니다. 그 결과 VibeEdit은 VLM 루브릭 점수 79.9점과 외부 영역 PSNR 32.8 dB를 달성했으며, 이는 평가에서 가장 높은 점수를 받은 텍스트 지시 기반 기준 모델인 FireRed(67.4점 및 24.0 dB)보다 우수한 결과입니다.

대규모 멀티모달 모델(LMM)은 시각 이해 및 생성 분야에서 상당한 발전을 이루었으나, 복잡한 지시사항을 따르고 외관 일관성을 유지하며 유연한 입력 형식을 지원하는 시각 편집에서 여전히 어려움을 겪고 있습니다. 이러한 격차를 연구하기 위해 본 논문은 추론 기반 시각 편집(RISE)을 평가하는 최초의 벤치마크인 RISEBench를 소개하고 이를 확장한 RISEBench++를 제시합니다.

RISEBench++는 시간적, 인과적, 공간적, 논리적, 반사실적 추론을 포함하는 여섯 가지 추론 차원과 다중 턴 편집에 걸친 여러 추론 유형을 통합하는 하위 분류 체계를 포함합니다. 이 차원들은 12개의 하위 범주와 65개의 세분화된 작업 유형으로 세분화되었으며, 다중 이미지 조건화와 같은 새로운 입력 형식을 포함하여 1000개의 인간 주석이 달린 테스트 케이스로 확장되었습니다.

연구진은 인간 심사자와 LMM-as-a-judge 접근 방식을 사용하여 지시 추론, 외관 일관성, 시각적 타당성을 평가하는 개선된 평가 프레임워크를 도입했습니다. 또한, 추론 기반 계획, 도구 증강 실행, 검증 가이드 정제를 통합하는 훈련 불필요한 에이전트 프레임워크인 RISE-Agent를 소개하여 다양한 RISE 작업에서 기존의 강력한 접근 방식들보다 우수한 성능을 보였습니다.

평가 결과는 추론 기반 시각 편집에 상당한 어려움이 있음을 보여주며, 가장 강력하게 평가된 접근 방식인 GPT-Image-2.5 Sunburst조차도 56.6%의 정확도만을 달성했습니다. RISEBench++는 현존하는 편집 모델의 한계를 강조하고 추론 인식 시각 편집을 위한 통찰력과 미래 방향을 제시합니다.

반복적인 추론을 수행하는 트랜스포머 모델에서 반복 횟수가 증가함에 따라 성능이 저하되는 문제를 해결하기 위한 새로운 방법이 제시되었습니다. 연구진은 루프된 트랜스포머가 성능 저하를 막기 위해 자체적인 잔차 연결(residual connections)을 필요로 한다고 주장하며, 반복 횟수가 늘어날수록 노이즈가 포함된 상태 업데이트가 정확한 중간 추론을 덮어쓰고 완료된 해답을 무효화하여 이후 반복에서 정보 복구가 어려워진다고 지적합니다.

이러한 문제를 해결하기 위해 연구팀은 InfiLoop라는 루프 기반 잔차 연결을 도입했습니다. InfiLoop는 과거 계산 중 무엇을 유지하고 새로운 업데이트에서 얼마나 수용할지 학습하는 방식으로 작동하며, 콘텐츠 기반 가중치와 학습된 시간 감쇠를 결합하여 재귀 상태의 실행 가능한 요약본을 유지합니다. 이는 반복 횟수가 증가해도 지속적인 집계 메모리를 일정하게 유지하는 정확한 스트리밍 재귀의 장점을 보존합니다.

7백만 파라미터를 가진 InfiLoop 모델은 기존의 재귀 구조보다 우수한 성능을 보였으며, Sudoku-Extreme에서는 97.9%의 정확도를, ARC-AGI-2에서는 13.6%의 pass@2를 달성했습니다. 특히, Sudoku-Extreme 작업에서 테스트 시간 루프를 20,000회 이상의 유효 단계로 확장했을 때 InfiLoop는 지속적으로 개선되었는데, 이는 추가된 깊이가 추론 능력을 직접적으로 강화한다는 것을 보여줍니다.

이 연구는 반복적인 추론 작업을 수행하는 대규모 모델의 안정성과 정확도를 향상시키는 데 기여하며, 관련 코드는 GitHub에서 공개되어 있습니다.

거대 언어 모델(LLM) 라우팅은 추론 작업을 다양한 모델에 분산시켜 LLM 서비스의 비용-품질 파레토 전선을 발전시키고 있습니다. 기존에는 세션이나 쿼리 수준의 거친 라우팅이 주로 사용되었으나, 최근 알고리즘 연구는 세밀한 토큰 수준 라우팅이 효율성과 품질을 크게 향상시킬 수 있음을 보여줍니다.

하지만 토큰 수준 라우팅을 효율적으로 서비스하는 것은 기존 시스템에 상당한 어려움을 제기합니다. 현재 시스템들은 단일 LLM 가정에 기반하여 심각한 단계 비동기화와 빈번한 배치 승인 지연을 겪으며, 개발자에게도 높은 구현 복잡성을 부과합니다.

이러한 문제를 해결하기 위해 TokenRouter라는 효율적이고 개발자 친화적인 토큰 수준 LLM 추론 서비스 시스템이 설계되었습니다. TokenRouter는 요청 중심 프로그래밍과 모델 중심 실행의 원칙을 따르며, 각 LLM에 대해 서브서버를 실행하고 요청을 비동기적으로 분산시킵니다.

각 서브서버는 시스템의 수학적 처리량 모델에서 최적의 하이퍼파라미터를 도출하는 지연 배치 스케줄러를 사용합니다. 다양한 라우팅 알고리즘, 워크로드, 모델 쌍에 걸쳐 TokenRouter는 기존 시스템보다 2.01배에서 64.15배 높은 디코딩 처리량을 달성하여 토큰 수준 LLM 라우팅의 서비스 효율성을 크게 향상시킵니다.

단일 외심(exocentric) 녹화에서 자기 중심(egocentric) 비디오를 생성하는 것은 두 카메라의 겹침이 적고 목표 시야의 상당 부분이 관찰되지 않아 새로운 시점 합성의 어려운 사례입니다. 기존의 최첨단 방법들은 깊이를 추정하고 점 구름으로 변환한 다음 자기 중심 카메라에서 다시 렌더링하여 비디오 확산 모델을 조건화함으로써 장면을 명시적으로 재구성합니다. 그러나 이 결정론적 매핑은 텍스처는 보존하지만 깊이 오류를 잘못된 콘텐츠로 변환하여 위치를 잘못 지정하는 문제를 발생시킵니다.

이에 본 연구는 깊이, 점 구름, 또는 재투영 없이 자기 중심 시야를 직접 렌더링하는 학습된 뷰 합성기(learned view synthesizer)를 제안합니다. 이 합성기는 내부적으로 시점 일치를 해결하며, 확률적 매핑을 사용하여 후보 소스 위치에 걸쳐 각 영역을 평균화함으로써 구조를 보존하면서 세부 텍스처를 평균화합니다.

확산 생성 모델의 조건으로서는 선명도보다 구조적 정렬을 우선시하는 것이 효과적이며, 이 분포의 집중도는 영역별 신뢰도를 제공하여 낮은 신뢰 영역을 마스킹하고 초기 레이아웃 형성 단계에서 생성기를 고신뢰 영역으로 유도하는 데 사용됩니다. 이 접근 방식은 기존의 명시적 파이프라인보다 일관되게 성능이 우수하며, 추가적인 재학습 없이 다른 데이터셋에도 일반화됩니다. 따라서 합성기는 시각적 구조를 제공하고 확산 모델이 세부 사항을 제공하는 역할을 수행합니다.

공간 코딩 에이전트를 사용하여 검증된 실행 추적(execution traces)을 생성하는 방식은 멀티모달 대규모 언어 모델(MLLM)의 공간 추론 능력을 크게 향상시키지만, 추론 시 오버헤드와 외부 의존성이라는 한계를 가집니다. 이 논문은 MLLM이 외부 도구 없이도 이러한 에이전트 능력을 내재화할 수 있는지 탐구합니다.

연구진은 MLLM에 공간 코딩 에이전트의 요약된 실행 추적을 프롬프트로 제공하면 모델의 내부 공간 사고의 연쇄(Chain-of-Thought, CoT)가 자연스럽게 해제된다는 관찰에서 시작했습니다. 이를 바탕으로, 검증된 에이전트 추적을 특권 정보로 공식화하여 공간 추론을 독립적인 MLLM에 내재화하는 온-폴리시 자기 증류 프레임워크인 SpatialOPSD를 제안합니다.

또한, 증류 과정에서 특권 정보 누출을 완화하기 위해 반복 마스킹과 비확률성 정규화를 결합한 반복 인식 증류(Repetition-Aware Distillation) 기법을 도입했습니다. 여러 벤치마크 실험 결과, 자기 증류 SpatialOPSD는 공간 및 OOD 데이터셋 모두에서 SFT와 GRPO보다 더 높은 평균 정확도를 달성하며 우수한 성능과 일반화 능력을 보였습니다.

DreamTrue는 행동에 충실하고 물리적으로 그럴듯한 비디오 예측을 위한 다중 시점, 교체 실체(cross-embodiment) 로봇 세계 모델을 제시합니다. 기존 로봇 데이터셋으로 이러한 모델을 훈련할 때 발생하는 두 가지 주요 장애물은 부정확한 보정으로 인한 행동 추적 저하와 성공하지 못한 상호작용에 대한 제한된 범위로 인해 예측이 성공적인 결과로 편향되는 것입니다.

이러한 문제를 해결하기 위해 DreamTrue는 행동 추적을 개선하고자 액션 궤적을 이미지 공간 조건으로 변환하고 오프라인 기하학적 보정을 도입합니다. 또한 상호작용 범위를 넓히기 위해 기록된 행동 궤적을 수정하고 더 넓은 범위의 행동 및 접촉 구성을 하에서 미래 비디오를 생성하는 카운터팩추얼 후처리(counterfactual post-training)를 도입했습니다.

추가적인 피드백을 제공하기 위해 로봇, 객체, 상호작용 결함을 포함하는 인간 주석 비디오 데이터셋을 구축하고 이를 사용하여 체화된 비디오 보상 모델을 훈련합니다. 이 모델의 점수는 강화 학습 후처리(reinforcement-learning post-training)를 통해 보다 물리적으로 그럴듯한 상호작용 결과로 유도합니다.

AgiBot 환경에서 DreamTrue는 최고 수준의 행동 추적 성능을 달성했으며, 인간이 평가한 상호작용 결함률을 48.12%에서 6.25%로 감소시켰습니다. 특히 이 모델은 2026년 AgiBot 월드 챌린지(AgiBot World Challenge 2026)의 세계 모델 부문에서 1위를 차지했습니다.

LLM 에이전트가 낯설고 역동적인 환경에 적응하기 위해서는 경험으로부터 학습하는 것이 필수적입니다. 이러한 학습 능력을 평가하는 것은 에이전트가 새로운 지식을 얼마나 효과적으로 습득하고 사용하는지 이해하는 데 중요합니다. 기존 벤치마크들은 주로 지침에 규칙이 제공되거나 사전 학습된 모델에게 이미 익숙한 과제를 평가하여 학습과 기존 지식 추론을 구분하기 어려웠습니다.

이러한 한계를 극복하기 위해 본 연구진은 새로 설계된 텍스트 기반 게임으로 구성된 벤치마크인 Learn2Play Bench를 소개합니다. 이 게임들은 규칙이 새롭거나 직관적이지 않아 에이전트가 사전 학습된 지식에만 의존하지 않고 상호작용을 통해 지식을 습득하도록 요구합니다. Learn2Play Bench는 반복적인 시도에 걸쳐 학습을 통제된 방식으로 평가할 수 있도록 재현 가능한 피드백과 자동 채점을 제공합니다.

연구 결과는 백본 모델, 자가 진화 방법, 에이전트 하네스가 에이전트의 학습 능력에 미치는 영향을 평가하며 세 가지 주요 발견을 제시합니다. 첫째, 경험 유지 측면에서 행동과 피드백의 완전한 기록을 유지하는 것이 경험을 규칙이나 전략으로 요약하는 것보다 더 효과적인 학습을 지원합니다. 둘째, 인간 에이전트와의 격차를 분석한 결과, 최고 성적을 달성한 인간 플레이어가 평가된 에이전트보다 더 높은 최고 점수를 달성했으며, 인간은 더 다양한 전략을 탐색하고 행동을 반복하는 것을 덜 했습니다.

마지막으로, 백본 모델을 고정했을 때 하네스를 변경하면 추정되는 추론 비용을 줄이면서 성능을 개선할 수 있다는 점이 밝혀졌습니다. 이 연구 결과들은 LLM 에이전트가 경험으로부터 학습하는 방식에 대한 통찰을 제공하며, 향후 학습 능력을 개선하기 위한 연구 방향을 제시합니다.

VLM 에이전트의 샘플 효율성을 높이기 위해 성공적인 궤적을 재사용 가능한 전략으로 압축하는 접근 방식이 제안되었습니다. 기존의 접근 방식들은 공간 레이아웃과 행동-상태 대응 관계를 언어로 선형화하여 중요한 기하학적 구조를 상실한다는 한계가 있었습니다.

최근 연구들은 시각적 증거를 통합하기 시작했지만, 스킬 구성과 업데이트를 정책 최적화와 분리하여 상호 개선이 충분히 탐구되지 않았습니다. 이에 따라 본 연구는 성공적인 상호작용을 VLM 에이전트가 직접 접근할 수 있는 복합 시각 스킬 카드 형태로 인코딩하는 시각 기반 스킬 학습 프레임워크인 ViSkill을 제안합니다.

ViSkill은 검색된 스킬을 추론과 보상 형성 모두에 안내하며, 성공적인 궤적을 라이브러리로 다시 압축하여 스킬 축적과 정책 개선이 서로 강화되는 폐쇄 루프를 형성합니다. 또한, 초기 학습을 가속화하기 위한 선택적 콜드 스타트 메커니즘도 추가되었습니다.

Sokoban, FrozenLake, PrimitiveSkill 환경에서 평가된 결과, ViSkill은 전체 성공률 0.89를 달성했으며, 콜드 스타트 초기화 시 0.91까지 상승했습니다. 이는 평가된 모든 독점 및 오픈 소스 기준선보다 우수하며 표준 PPO보다 더 빠르게 수렴하는 성능을 보였습니다.

Vision-Language 모델의 예측적 공간 추론 능력을 평가하는 최초의 벤치마크인 SpaceCast-Bench가 발표되었습니다. 기존의 공간 추론 벤치마크들이 입력에서 이미 보이는 관계를 읽는 공간 지각에 중점을 두었다면, SpaceCast-Bench는 관찰을 바탕으로 장면을 구성하고 개입이 변화시키는 방식을 예측하며 보이지 않는 결과를 추론하는 예측적 공간 추론 능력을 직접 평가합니다.

이 벤치마크는 관찰-변환-추론(observe-transform-infer) 프레임워크를 기반으로 하며, 182개의 실제 장면에서 3,862개의 질문을 통해 정적 지각, 국소 예측, 전역 예측의 세 가지 수준에서 16가지의 작업 유형을 다룹니다. 이 평가 결과, 21개의 모델을 검토했을 때 가장 강력한 모델조차 인간의 성능인 87.2%에 비해 58.0%에 불과한 큰 격차가 드러났습니다.

추가 분석 결과, 분산된 관찰을 통합하는 데 있어 브릿지 뷰(bridge views)가 중요하며, 생성된 결과 이미지나 비디오보다 명시적인 3차원 증거가 모델에 더 신뢰성 있게 작용한다는 점이 밝혀졌습니다. 또한, 프로그램적으로 생성된 데이터로 Qwen3-VL-4B를 미세 조정했을 때, 6개 도메인 외 성능에서 평균적으로 34.0%였던 성능이 65.7%로 향상되는 성과를 보였습니다.

비전-언어 모델(VLM)은 뛰어난 능력을 보였으나 입력 시 비전 토큰이 시퀀스를 지배하여 상당한 계산 오버헤드를 발생시킵니다. 이러한 부담을 완화하기 위해 비전 토큰 압축이 중요한 방향으로 제시되었습니다. 특히 선형 어텐션(linear attention)을 통합하는 하이브리드 아키텍처가 등장하면서, 소프트맥스 어텐션에 기반한 기존 방법들은 일반화에 어려움을 겪는 문제가 발생했습니다.

이러한 배경에서 본 연구는 선형 어텐션 환경에 특화된 효율적인 토큰 압축 프레임워크인 V-CoLA를 제안합니다. V-CoLA는 비전 토큰 중 중요한 토큰을 식별하는 새로운 고유성 인식 중요 기준과 압축을 수행하는 적응형 토큰 병합 전략을 도입합니다. 이 모든 구성 요소는 선형 어텐션의 청크별 병렬 처리에 호환되도록 구현 수준에서 최적화되어 실질적인 가치를 보장합니다.

실험 결과 V-CoLA는 압축을 통해 성능 저하 없이 속도 향상을 달성했습니다. V-CoLA는 원래 성능의 99.5%를 유지하면서 비전 토큰을 50.0%로 줄였으며, 12.5%로 줄였을 때는 88.0%의 성능을 달성했습니다. 또한, 이 방법은 프리필(prefill) 속도를 1.86배에서 6.15배까지 향상시키는 결과를 보였습니다.

에이전트가 탐색과 상호작용을 통해 학습하기 위해서는 환경이 일관된 상태, 규칙, 역학을 유지하며 현실적인 시각 분포를 따르는 것이 필수적이지만, 다양한 환경에서 이를 달성하는 것은 큰 병목 현상이었습니다. 이러한 문제를 해결하기 위해 연구진은 시뮬레이터와 게임 엔진을 공유 신경 렌더러와 결합하여 실시간 상호작용 환경을 구축하는 프레임워크인 AgentGarten을 소개합니다.

AgentGarten은 시뮬레이션 백엔드가 지속적인 세계 상태를 유지하고 프로그램 정의 상호작용 규칙을 실행하는 동시에, 렌더러가 공통 인터페이스를 통해 구조화된 조건으로부터 시각적 관찰을 생성합니다. 신경 렌더러를 구축하기 위해 사전 학습된 비디오 모델을 기하 조건에 맞게 조정하고 제안된 적대적 강제(Adversarial Forcing)를 통해 정제하며 실시간 상호작용을 위해 추론을 최적화합니다. 적대적 강제는 정확한 재생을 통해 기록을 미분 가능하게 만들어 후속 예측의 손실이 렌더러가 이전 관찰을 인코딩하는 방식에 업데이트를 추가하고 시각적 품질을 개선합니다.

이 프레임워크 내에서 에이전트는 시각적 관찰을 통해 세계를 인식하고 실시간으로 상호작용하며, 각 경험을 후속 에이전트가 물려받고 개선하는 플레이북으로 정제함으로써 학습을 진행합니다. 실증 연구 결과, 에이전트는 기존 강화 학습의 수백만 번에 비해 단 4라운드 만에 학습 효율성이 크게 향상됨을 입증했습니다.

새로운 세계를 코드로 작성하고 동일한 인터페이스를 통해 렌더링할 수 있게 되면서, 환경은 에이전트와 함께 수와 난이도 면에서 확장될 수 있게 되었습니다. 이는 에이전트가 상호작용적인 경험을 통해 지속적으로 진화하는 방향으로 나아가는 중요한 단계입니다.

실시간으로 시뮬레이션에서 학습된 정책을 물리적 객체로 전이하는 로봇 조작을 위해서는 기하학적으로 정확하고 기능적인 관절형 3D 에셋이 필수적입니다. 기존의 메시 기반 방법들은 주석이 달린 3D 에셋에서 관절을 추론하지만, 학습 분포를 벗어난 실제 객체나 불완전하거나 손상된 메시의 경우 배포에 어려움을 겪습니다.

이러한 한계를 극복하기 위해 연구진은 부분적인 기하학적 증거에 기반한 프로그램적 모델링으로 관절형 에셋 재구성을 공식화하고 USDCraft라는 프레임워크를 제안합니다. 이 프레임워크는 사전 학습된 대규모 언어 모델(LLM)이 특정 작업별 훈련 없이 시뮬레이션 준비가 된 관절형 에셋을 위한 실행 가능한 프로그램을 작성하고 수정하도록 합니다.

USDCraft는 소스 기하학적 분석과 반복적인 기하학적 재확인이라는 두 가지 핵심 기술을 사용합니다. 소스 기하학적 분석은 소스 메시를 관찰된 표면과 알려지지 않은 공간을 구별하는 측정 텍스트 설명으로 변환하며, 반복적인 기하학적 재확인은 불일치가 프로그램 편집을 가리키도록 각 후보를 동일한 표현으로 재인코딩합니다.

이러한 과정을 통해 시각적 피드백과 물리적 작성 지침이 모델링 과정을 완성하여 수동 조정 없이 Isaac Sim에서 로드될 수 있는 명시적인 물리적 속성을 가진 관절형 USD 에셋을 생성합니다. 실험 결과는 두 가지 벤치마크에서 뛰어난 관절 복구를 입증하며 USDCraft가 실제-시뮬레이션-실제 로봇 조작에 효과적임을 검증합니다.

대규모 언어 모델(LLM) 추론 과정에서 디코딩 단계는 메모리 제약으로 인해 상당한 지연 시간을 발생시킵니다. 기존의 헤시안(Hessian) 기반 네트워크 가지치기 접근 방식은 디코딩 시 모델이 생성하는 자기 생성 토큰을 사용하는데, 이는 사전 수집된 자연 시퀀스를 사용하여 헤시안을 계산하는 방식과 분포 차이를 발생시킵니다. 이로 인해 생성 중 활성화 분포가 가지치기에 사용된 분포와 달라져 가지치기된 모델의 성능이 저하되는 문제가 발생합니다.

기존의 대부분의 LLM 가지치기 방법들은 희소 행렬-행렬(SpMM) 곱셈에 주로 초점을 맞추어 실제 속도 향상을 제공하지만, 디코딩에서 지배적인 희소 행렬-벡터(SpMV) 연산에 대한 지원이 제한적입니다. 이 문제를 해결하기 위해 SparseDecoding이라는 디코딩 인식 가지치기 프레임워크가 제안되었습니다. 이 방법은 가지치기 목표를 디코딩 활성화에 맞추기 위해 알고리즘 측면에서 밀집 모델의 자기회귀 생성 중 수집된 레이어별 활성화를 기반으로 보정 행렬을 구성합니다.

시스템 측면에서는 비트마스크 인덱싱과 고정 단계 순회를 이용한 최적화된 N:M 희소 행렬-벡터 커널을 개발했습니다. 이 방법은 Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B/32B와 같은 대표적인 LLM에서 표준 고정 텍스트 보정보다 장문 생성 벤치마크에서 일관되게 우수한 성능을 보였습니다. 또한 A100 GPU에서 종단 간 벽시계 디코딩 속도를 최대 1.48배 향상시키는 결과를 달성했습니다.

밀집 검색(Dense retrievers)은 텍스트 및 이미지 코퍼스에서 상당한 발전을 이루었으나, 텍스트, 이미지, 융합된 텍스트-이미지 문서가 혼합된 혼합 모달리티(mixed corpora)에 대해 이러한 성능이 신뢰성 있게 확장되는지는 불분명합니다. 연구진은 다양한 아키텍처에 걸쳐 검색기들을 체계적으로 검토한 결과, 성능이 모달리티 구성에 매우 민감하다는 것을 발견했습니다.

이미지 문서가 의미적으로 대응하는 텍스트 표현으로 점진적으로 대체될 때 검색 성능은 뚜렷한 V자 곡선을 보이며, 단일 모달리티 코퍼스에서는 강력하지만 모달리티가 공존할 때는 성능이 크게 저하됩니다. 특히, 관련 없는 텍스트가 관련 없는 이미지보다 더 심각한 성능 저하를 유발하는 현상을 'Chaos in the Text'라고 명명했습니다. 이는 텍스트 표현이 체계적으로 더 높은 유사도 점수를 받아 관련 없는 텍스트가 관련 있는 이미지보다 우선순위를 차지할 수 있는 모달리티 선호 현상에서 비롯됩니다.

이러한 편향을 완화하기 위해 연구진은 Trident라는 방법을 제안했습니다. Trident는 각 문서에 대해 텍스트, 이미지, 융합된 텍스트-이미지 시각을 동등한 양의 긍정(positives)으로 구성하고 Multi-Positive View InfoNCE를 통해 관련성 구별과 긍정 시각 균형을 공동으로 최적화합니다. 시각 문서 및 자연 이미지 벤치마크 전반의 실험 결과, Trident는 CLIP 기반 및 VLM 기반 아키텍처 모두에서 혼합 모달리티 검색을 개선하고, 모달리티 구성 및 텍스트 방해 요소에 대한 민감도를 줄이며, 평균 단일 모달리티 검색 성능을 높였습니다.