공간 추론은 모델이 3차원 공간에서 객체의 위치, 상호 관계, 움직임을 파악하도록 요구하는 작업입니다. 최근 에이전트형 VLM은 단일 패스로 답변하는 대신 3차원 인식 도구를 사용하여 증거를 능동적으로 수집함으로써 이러한 작업에서 큰 발전을 이루었습니다. 하지만 많은 질문에 대해 도구는 올바른 증거를 반환하더라도 모델은 정확한 답변에 도달하지 못하는 문제가 있으며, 이는 모델과 도구 사이의 격차, 즉 원시적인 판독값이 사용 가능한 결론으로 전환되는 지점이 채워지지 않는 상황을 의미합니다.
이에 연구진은 S-Agent 2.0을 제시했는데, 이는 범용 코딩 에이전트에 명령줄 인식 도구 세트를 장착한 공간 추론 에이전트입니다. 이 시스템은 증거 루프를 닫는 것을 목표로 하며, 장면 증거를 획득하고 이를 지속적인 장면 메모리에 기억하며 각 판독값을 순수한 공간 언어로 해석하는 원칙을 기반으로 설계되었습니다. 이러한 디자인은 코딩 에이전트의 완전한 유연성을 유지하면서, 에이전트가 취하는 모든 행동이 도구의 기하학적 정보에 기반하도록 보장합니다.
S-Agent 2.0은 MMSI-Bench와 ReVSI에서 강력한 오픈 소스 모델인 Qwen3.8-27B에 +13.9 및 +20.5점, 그리고 폐쇄형 모델인 Gemini-3.8-Flash에 +11.2 및 +9.6점을 추가하여 성능을 향상시켰습니다. 이는 도구가 더 강력해질수록 전체 백본이 발전함에 따라 도구 이득이 줄어드는 경향을 보여줍니다. 특히, 전문 시스템인 SpatialClaw와 비교했을 때 S-Agent 2.0은 ReVSI에서 +9.6점의 도구 이득을 유지하는 반면, SpatialClaw는 +13.2점에서 +2.7점으로 크게 감소하여 도구의 효과가 더 크게 줄어드는 것을 확인할 수 있습니다.
또한 S-Agent 2.0은 Codex나 Claude Code와 같은 다양한 범용 코딩 에이전트 환경에서 작동할 수 있어 광범위한 적용 가능성을 제공합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-20
Rui Gong, Ruoyu Wang, Yalun Dai, Hao Li, Sidi Yang, Qihao Zhao, Hongyu Li, Zeyang Guan, Fangzhou Hong, Zhaoxi Chen, Kim-Hui Yap, Ziwei Liu
수집 2026-10-21 03:53
다중 시점 예측을 위해서는 동일하게 진화하는 3차원 장면을 설명하기 위해 서로 다른 카메라에서 촬영된 비디오가 필요합니다. 이를 위해 본 논문은 다중 시점 비디오 기록과 언어 지시를 조건으로 미래 비디오와 지속적인 장면 점들의 3차원 궤적을 공동으로 예측하는 세계 모델인 비디오-포인트 모델(Video-Point Model, VPM)을 소개합니다. VPM은 카메라 조건부 다중 시점 처리를 통해 카메라 간의 상호 보완적인 관찰을 통합하고, 물리적 점들이 시간에 따라 어떻게 움직이는지를 예측하는 궤적 헤드를 추가하여 세계 모델을 확장합니다.
각 궤적은 모든 시점에서 단일 점을 추적하며, 이 궤적들을 비디오 생성과 함께 감독함으로써 모든 카메라에서의 외관 변화를 공유된 3차원 움직임 설명에 고정시킵니다. 이러한 학습과 평가를 지원하기 위해 동기화된 다중 시점 비디오와 지속적인 점 궤적을 쌍으로 묶는 시뮬레이션 코퍼스인 VPM-Data와 예측 벤치마크인 VP-WorldBench를 구축했습니다.
VPM을 로봇 제어로 확장하기 위해 생성기에 로봇 행동을 토큰 모달리티로 추가했습니다. 이 행동 토큰들은 점 기반으로 감독된 백본을 공유하며 미래 비디오와 공동으로 디노이징되어 정책을 동일한 3차원 인식 표현에 기반하도록 합니다. VP-WorldBench 및 기존 4차원 생성 벤치마크에서 점 감독은 비디오만 사용한 모델보다 비디오 충실도와 3차원 움직임 정확도를 모두 향상시킵니다.
또한 시뮬레이션 및 실제 로봇 실험에서 점 감독은 행동이 가능한 모델의 조작 성공률을 높이는 것으로 나타났습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-20
Byungwoo Jeon, Sunghwan Hong, Dohyeon Kim, Jonghoon Lee, Jungwoo Park, Inhee Lee, Doosan Baek, Jinil Kim, Taehyun Lim, Hanbyul Joo, Marc Pollefeys, Saining Xie, Jinwoo Shin
수집 2026-10-21 03:53
구조 조건화 비디오 렌더러인 SolarRenderer는 게임 엔진이나 코딩 에이전트가 지정한 장면의 레이아웃, 움직임, 카메라 정보를 현실적인 비디오로 변환하는 데 중점을 둡니다. 기존 렌더러들은 특정 엔진의 표현에 묶여 있거나 많은 디노이징 단계 또는 비용이 많이 드는 증류 과정을 필요로 했으며, 목표 비디오와 정렬되지 않은 조건으로부터 학습하는 한계를 가지고 있었습니다.
SolarRenderer는 이 문제를 해결하기 위해 고정된 MiniMax-H3 33B 백본에 두 개의 경량 LoRA를 적용하여 구조 조건화된 비디오 렌더러를 제시합니다. 이 모델은 구조 비디오를 프레임 위치에 따라 타입 식별자 없이 단순 텍스트로 입력받아, 단일 제어 LoRA가 임의의 구조 표현을 따르도록 합니다.
구조 기반 분포 일치 매칭을 통해 렌더링할 때, 이 방법은 50단계 샘플링보다 12.3배 빠른 네 단계로 결과를 도출하며 학습된 제어력을 보존합니다. 또한, 블록 인과성 변형을 통해 스트리밍 환경에서도 동일한 설계를 확장하여 768p 비디오를 실시간으로 렌더링할 수 있습니다.
모델 학습을 위해 게임 엔진, 시뮬레이터, 유튜브 비디오에서 얻은 136K 클립으로 구성된 프레임 정렬 코퍼스를 구축했으며, 이 모델은 분포 내 테스트 세트와 16개의 구조 표현에 대한 일반화 벤치마크에서 최고 수준의 결과를 달성했습니다. 특히 포즈 스켈레톤, 그림, 포인트 클라우드를 포함하여 11개의 보지 못한 표현까지 일반화하는 능력을 보여줍니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-20
Guian Fang, Shengju Qian, Dongyue Lu, Junchao Huang, Lutao Jiang, Xin Wang, Yiren Song, Li Jiang, Mike Zheng Shou
수집 2026-10-21 02:53
Sage-A1.5는 A1을 기반으로 하는 35B 규모의 Mixture-of-Experts 에이전트 모델로, 적응형 역량 조합을 통해 장기적인 문제 해결 능력을 향상시킵니다. 이는 단순히 개별 작업을 해결하는 것을 넘어 실행 과정에서 작업을 조직하고 접근 방식을 수정하는 능력을 학습합니다.
Sage-A1.5는 세 가지 주요 개선 사항을 통해 이 능력을 강화합니다. 첫째, 에이전트 오케스트레이션은 하위 에이전트 간의 작업 위임과 병렬 협업을 통해 복잡한 작업을 분해하고 동시에 처리하며 상호 간섭을 줄여 효율적인 실행을 가능하게 합니다. 둘째, 에이전트 검증은 진행 상황 확인, 증거 검증, 성찰적 전략 수정을 통해 장기적인 신뢰도를 높이며, 비생산적인 탐색 경로를 인식하고 대안적인 접근 방식을 추구할 수 있게 합니다.
셋째, 오픈 과학 발견은 에이전트의 능력을 미리 정의된 질문에 답하는 것을 넘어 탐색적 연구를 수행하고, 과학적 탐구를 상호 작용적인 분석과 검사 가능한 연구 산출물로 연결합니다. 이러한 역량은 복잡한 에이전트 작업과 다학제 과학 응용 분야를 통해 입증되었습니다.
궁극적으로 Sage-A1.5는 장기적인 작업 실행에서 협업 가능하고, 검증 가능하며, 검사 가능한 과학적 탐험으로 나아가는 실질적인 경로를 제공하여 커뮤니티에 오픈 과학 발견의 기반을 제공하고자 합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-20
Wenjie Lou, Tianshuo Peng, Shiyang Feng, Shengji Tang, Runmin Ma, Ruizhe Chen, Jinxin Shi, Haoyang Peng, Fangchen Yu, Zhijie Zhong, Yuhao Zhou, Yue Fan, Yixin Chen, Yiming Wu, Yiheng Wang, Yigeng Jiang, Yichen Jiang, Yi Xie, Xu Guo, Xiaohan He, Tao Hu, Songtao Huang, Siyu Zhou, Shuaiyu Zhang, Shangheng Du, Qinglong Cao, Kun Li, Jingqi Ye, Hongbin Zhou, Guohang Yan, Zongsheng Cao, Ziyi Wang, Zhuo Liu, Zhiyin Yu, Zhiwang Zhou, Zelin Tan, Yuqing Zhu, Yaoze Zhang, Yang Chen, Xuming He, Xiuliang Liang, Xingjian Guo, Xiang Zhuang, Weiping Shen, Weida Wang, Tianyuan Zhou, Tianlin Ye, Tengyuan Fan, Siyu Yan, Shuo Li, Shuchen Pu, Shengyuan Xu, Shao Zhang, Ran Wei, Qinyuan Qin, Qingyu Yang, Nianchen Deng, Meng Dai, Kuikun Liu, Kaitao Chen, Juncheng Xiao, Jiangning Liu, Jianbiao Mei, Jia Yu, Haonan He, Hangfan Zhang, Cheng Yang, Chen Zhang, Bihao Zhan, Benteng Cheng, Yuqiang Li, Yihao Liu, Yang Yang, Xujun Fu, Xiaosong Wang, Xiangyu Yue, Wenwei Zhang, Shuyue Hu, Pinlong Cai, Mianxin Liu, Lei Bai, Jie Zhou, Jie Hou, Jiamin Wu, Hui Wang, Haijun Li, Guangyu Wang, Dongzhan Zhou, Chunfeng Song, Chao Yang, Biqing Qi, Xing Xie, Dahua Lin, Bowen Zhou, Xiangchao Yan, Wenlong Zhang, Shufei Zhang, Peng Ye, Bo Zhang
수집 2026-10-21 02:53
실시간으로 플레이 가능한 세계를 구현하기 위해서는 지속적인 세계 상태, 실행 가능한 게임 규칙, 그리고 낮은 지연 시간의 상호작용이 필수적입니다. 이 논문은 게임 실행과 시각적 생성 과정을 분리하는 실행 가능한 게임 하네스(executable game harness)를 통해 차세대 Matrix-Game 시스템을 제시하며 Matrix-Game 4.0을 소개합니다.
Matrix-Game 4.0은 경량 게임 엔진이 세계 상태와 상호작용 규칙을 유지하고, 멀티모달 코딩 에이전트가 플레이어 아이디어를 게임 코드로 변환하며 동적 장면 캡션을 생성하고, 자기회귀 비디오 모델 기반 렌더러가 엔진이 렌더링한 저해상도 프록시를 동적 캡션과 메모리 참조에 따라 상세한 시각으로 변환하는 방식으로 구성됩니다. 이 프레임워크는 시각적 생성에 지속적인 지침을 제공하며 자연어 기반으로 장면과 게임플레이를 생성하고 수정할 수 있게 합니다.
특히 렌더러는 정렬된 저해상도 및 고충실도 비디오 쌍으로 훈련되어 인과 생성기(causal generator)로 압축되었으며, 이는 4프레임 청크와 한두 번의 노이즈 제거 단계로 생성됩니다. 이 시스템은 특정 추론 최적화를 통해 단일 NVIDIA RTX5090에서 키 입력부터 디스플레이까지의 지연 시간이 112ms인 상태에서 480p, 60 FPS 게임플레이를 가능하게 합니다.
또한 단일 단계 생성은 18.2GiB의 최대 GPU 메모리 사용량으로 83FPS의 안정 상태 처리량을 달성하며, RTX5080에서는 67FPS, RTX5070Ti에서는 58FPS의 안정 상태 처리량도 보여줍니다. 연구 및 플레이 가능한 게임 세계의 창작을 지원하기 위해 코드, 모델 가중치, 저해상도 게임 에셋이 공개되었습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-20
Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, Siru Chen, Tianle Li, Guanjie Chen, Junyi Wu, Chubin Chen, Yuanhang Li, Kaichen Huang, Haobo Zhang, Yangguang Li, Wei Yu, Guibin Chen, Yu Cheng, Yahui Zhou
수집 2026-10-21 02:53