읽을 가치가 있는 기사만, 짧고 또렷하게.

장기 목표 에이전트 작업은 단기 상호작용을 연결하는 것을 넘어, 끊임없이 탐색하고 경험으로부터 학습하며 정책을 조정해야 하는 동적 환경과 장거리 의존성을 요구합니다. 이러한 복잡성을 평가하기 위해 본 연구는 다중 라운드 상대 협상과 동적 이벤트를 연간 비즈니스 운영에 통합한 최초의 오픈소스 벤치마크인 이커머스 벤치(E-Commerce Bench)를 소개합니다.

이 벤치마크는 LLM 에이전트가 365일 동안 여러 온라인 스토어를 동시에 운영하며 시장 조사, 공급업체 협상, 판매 전략 최적화, 주문 이행, 반품 처리, 현금 흐름 관리를 수행하여 연말 총 자산을 극대화하는 것을 목표로 합니다. 현실적인 운영 환경을 구축하기 위해 제품 및 공급업체 데이터는 실제 이커머스 플랫폼에서 파생되었으며, 프로모션, 자연재해, 공급망 충격 등의 연간 변화가 수요를 지속적으로 재편합니다.

평가 결과, 18개의 최첨단 모델을 대상으로 일 년 말 자산과 같은 일곱 가지 차원에서 평가했을 때 단일 모델이 지배하지 않는 것으로 나타났습니다. GPT-5.6 Sol이 가장 높은 자산(1,431,425)을 달성했으나 사기 방지 측면에서는 18개 모델 중 16위를 기록했으며 운영 효율성에서는 Fable5에 뒤처졌습니다.

오픈 가중치 모델 중에서는 Qwen3.8-Max-Preview가 416,252를 달성하며 GLM 5.2(high)보다 38% 높은 성과를 보였고, 반복된 주문에 걸쳐 가격을 협상하는 데 있어 가장 강력한 장기 학습 능력을 보여주었습니다. 이 연구의 코드는 https://github.com/QwenLM/E-CommerceBench에서 확인할 수 있습니다.

로봇 조작의 일반화에 있어서 견고한 일반화는 광범위한 물리적 경험을 요구하지만, 행동 레이블이 지정된 로봇 궤적은 수집 비용이 높고 다양성이 제한적이라는 근본적인 스케일링 문제를 안고 있습니다. 이러한 문제를 해결하기 위해 객체 상호작용, 접촉 역학, 도구 사용 및 장거리 행동을 포괄하는 다양한 환경에서의 경험을 담고 있는 에고센트로(egocentric) 비디오를 대규모의 임베디드 경험의 출처로 활용하는 접근 방식이 제시되었습니다.

연구진은 대규모 비디오에서 일반화 가능한 세계 행동 모델(WAMs)을 학습하기 위한 확장 가능한 프레임워크인 ZimaBlue를 소개했습니다. ZimaBlue는 대규모 인간 및 로봇 에고센트로 비디오를 이용한 인과적 임베디드 비디오 사전 학습, 통일된 행동 표현을 사용한 비디오-행동 중간 학습을 통한 이질적인 로봇 궤적에 시각적 역학을 기반으로 하는 과정, 그리고 최종적으로 특정 로봇에 대한 모델 전문화를 포함하는 세 단계 훈련 커리큘럼을 따릅니다.

실제 로봇 제어를 위한 생성형 WAM을 실용적으로 만들기 위해 ZimaBlue는 비동기적인 Slow-Fast 이중 시스템 아키텍처를 채택했습니다. 이 구조는 일반화 가능한 시공간 표현을 제공하는 고용량 Slow 세계 모델과 NVIDIA RTX 4090에서 30Hz 행동 예측을 가능하게 하는 경량 Fast 브랜치로 구성되어 있습니다. 실제 로봇 제로샷 평가에서 목표 로봇 데이터만 사용하는 것에서 120,000시간 이상의 임베디드 비디오로 확장했을 때 성공률은 36.1%에서 77.8%로 향상되었습니다.

이러한 확장 덕분에 ZimaBlue는 여러 벤치마크에서 강력한 성능을 제공하며, 특히 보지 못했던 작업에서 두드러진 성능 향상을 보였습니다.

Qwen-Drive-1.0은 자율 주행을 위한 비전-언어 파운데이션 모델(VLM)의 초기 단계로 제시됩니다. 이 모델은 사전 학습된 VLM 아키텍처를 유지하면서 3차원 인식, 시각 질문 응답, 모션 계획을 통합한 통일된 프레임워크를 구축했습니다.

모델은 외부 버드아이뷰(BEV) 인식 헤드를 통해 3차원 객체 탐지, 의미적 점유 예측, BEV 맵 분할을 동시에 수행합니다. 이는 공유 표현에서 접근 가능한 3차원 정보를 탐색하고 3차원 장면 구조에 대한 명시적이고 검사 가능한 인터페이스를 제공합니다. 또한 계획 전문가(Planning Expert)는 공유 VLM 표현에 조건화하여 미래의 자율 주행 경로를 생성합니다.

훈련 방식은 주행 감독과 일반적인 비전-언어 데이터를 결합한 단계적 훈련 레시피를 사용합니다. 이를 통해 주행 특화 역량을 습득하는 동시에 광범위한 시각 이해 및 지시 따르기 능력을 보존합니다.

실험 결과는 광범위한 비전-언어 능력을 대부분 보존하면서도 강력한 3차원 인식 및 주행 장면 이해 능력을 입증합니다. 개방 루프, 유사 폐쇄 루프, 폐쇄 루프 설정 전반에 걸친 종합적인 평가를 통해 매우 경쟁력 있는 모션 계획 성능도 확인되었습니다.

본 논문은 민주적 지배의 역학을 시스템 역학 패러다임으로 분석하는 동적 동의 공학(Dynamic Consent Engineering, DCE)이라는 새로운 학제 간 패러다임을 제시합니다. 이는 에드워드 버내이즈의 홍보 관계 원칙과 시스템 역학의 S-E-E-D(Snowball, Equilibrium, Elasticity, Dominance) 프레임워크를 통합하여 정치적 지배가 어떻게 구성되고 유지되는지를 수학적으로 형식화합니다.

연구는 버내이즈의 운영 제약을 인력, 정신력, 자본 외에 알고리즘 미디어 인프라를 포함하는 4차원 자원 매트릭스로 확장하여 민주적 제도가 정치적 지배를 어떻게 구축하고 최적화하며 지속하는지를 분석합니다. 또한 버내이즈의 8단계 공학 워크플로우를 비선형 피드백 루프, 정보 시간 지연, 인구 수용 능력에 직접 매핑하여 시스템의 동적 구조를 모델링합니다.

이러한 시스템 피드백 구조에 대한 엄격한 모델링을 통해 정치적 탄력성, 정책 저항의 정체 구간, 그리고 임계값에 따른 신뢰 붕괴의 동적 근본 원인을 분리해 냅니다. 최종적으로 연구는 장기적인 정치적 안정성이 일시적인 수사(rhetoric)가 아닌 정책 실행의 구조적 동기화와 동적 피드백 보정(dynamic feedback calibration)에 달려 있음을 입증합니다.

종단 간 기상 예측 시스템은 데이터 동화(data assimilation)를 포함하는 수치 기상 예측 파이프라인을 대체하여 원시 지구 관측 자료로부터 숙련된 전 지구 격자 및 관측소 예측을 비용 효율적으로 제공합니다. 이 시스템은 불확실성을 내포하지 않는 결정론적 예측을 제공하지만, Aardvark Weather 모델은 각 구성 요소에 확률적 메커니즘을 추가하여 확률적 모델로 구현되었습니다.

모델은 관측 인코더에서 학습된 입력 의존적 노이즈를 통해 관측 시스템에서 물려받은 알레아토릭 불확실성(aleatoric uncertainty)을 포착하고, 프로세서에서 몬테카를로 드롭아웃(Monte Carlo dropout)을 사용하여 학습된 역학에서의 에피스테믹 불확실성(epistemic uncertainty)을 포착합니다. 이러한 불확실성은 총 분산 법칙 분해(law-of-total-variance decomposition)를 통해 두 출처로 전달되며, 관측 스트림을 제외함으로써 교차 확인됩니다.

확률적 미세 조정(probabilistic finetuning)을 통해 평균 예측값은 변수와 예측 시간 전체에 걸쳐 평균 4.2% 향상되었습니다. 또한 이 앙상블은 중기 범위에서 ERA5와 0.98의 확산-기술 비율(spread-skill ratio)로 보정되었으며, 관측소 RMSE는 결정론적 모델 대비 2.4% 이내로 유지하면서 모든 예측 시간에서 CRPS(Continuous Ranked Probability Score)에서 우수한 성능을 보였습니다.

구성 요소별 불확실성(component-attributed uncertainty)을 통해 종단 간 예측의 투명성이 향상되어 대기의 관측 기반 디지털 트윈을 향한 발걸음을 내딛게 됩니다. 이는 기상 예측 시스템이 관측 기반으로 작동하는 방향으로 발전하고 있음을 의미합니다.

비전-언어 모델(VLM)의 정렬 및 지시 이행 능력을 향상시키기 위해 시각 지시 튜닝은 매우 중요합니다. 하지만 빠르게 확장되는 데이터셋에서 고정된 비율 제약 조건 하에 최적의 부분집합을 식별하는 것은 여전히 큰 병목 현상입니다. 기존 방법들이 분포 다양성이나 휴리스틱 필터링에 의존하는 반면, 개별 샘플 내의 내부 일관성을 간과하는 경우가 많습니다.

이러한 격차를 해소하기 위해 우리는 샘플 수준의 구성 요소 일관성을 정량화하는 자체 점수 메트릭인 데이터 내재적 일관성(Data Intrinsic Consistency, DIC)을 제안합니다. DIC는 시각 정보 일관성(Visual Information Consistency, VIC, 시각 콘텐츠와 지시의 정렬 평가)과 응답 정보 일관성(Response Information Consistency, RIC, 지시 대비 응답 일관성 평가)이라는 두 모듈로 구성됩니다.

DIC를 기반으로 데이터 내재적 일관성 선택(Data Intrinsic Consistency Selection, DICS)이라는 적응형 데이터 선택 방법을 도입하여 다양한 데이터 예산과 모델 아키텍처에 걸쳐 높은 샘플 내부 일관성과 전역 분포 다양성 사이의 균형을 최적화합니다. 실험 결과, DICS는 전체 데이터셋 미세 조정보다 우수한 성능을 보이며 LLaVA-1.5-665K 데이터의 25%만을 사용하여 최고 수준의 방법들을 능가했습니다.

특히, DICS-6M이라는 600만 샘플의 멀티모달 지시 코퍼스를 구축하여 가장 광범위한 시각 지시 선택 연구를 가능하게 했습니다. 놀랍게도 DICS는 보고된 훈련 데이터의 25% 미만을 사용하여 공식 InternVL3-8B-Instruct 성능의 94.52%에 도달했습니다.

웹 코드의 VLM 기반 자체 개선 과정에는 구조적인 결함이 존재합니다. 즉, 수정을 제안하는 모델이 판단하는 모델이 되기 때문에 시각적 타당성은 페이지가 실제로 작동하는지에 대한 좋은 대리 지표가 되지 못합니다. 이 루프가 놓치고 있는 것은 VLM이 속일 수 없는 상대방, 즉 브라우저입니다. 브라우저는 HTML 결과물이 사용자 행동에 따라 어떻게 작동하는지를 결정하는 결정론적이고 실행 가능한 시뮬레이터이며 웹 코드의 세계 모델 역할을 합니다.

이에 우리는 VLM이 이 브라우저 기반 세계 모델과 자율적으로 상호작용하고 어떤 상호작용을 감독으로 삼을지 결정할 수 있게 하는 인터페이스인 WebWorld를 제시합니다. 각 라운드에서 VLM은 비판을 제시하고 계획자는 이를 타입화된 상호작용 계약으로 정리합니다. 브라우저는 후보를 재실행하고 목표 진행 상황과 이전에 검증된 모든 기능의 보존이 충족될 때만 승인 증명서를 발행합니다. 이러한 인증된 전환은 품질의 래칫(quality ratchet)으로 축적되며 이는 SFT 내보내기(SFT export)가 볼 수 있는 유일한 정보가 됩니다.

이러한 방식을 통해 학습된 WebWorld-27B는 Raw-27B 모델을 HTMLBench-400에서 5.3점, MiniAppBench-Val에서 14.9점 향상시켰습니다. 또한 인터랙티브 HTML 생성 분야에서 Kimi-K2.6 및 GPT-5.4와 같은 강력한 최첨단 시스템의 수준에 도달했습니다. 이 결과는 브라우저 기반 승인(admission)이 이득을 가져온다는 것을 보여주며, 인증서 없이는 이득이 거의 사라집니다.

모든 신체화된 내비게이션은 다양한 목표와 시각적 관찰을 작업, 환경, 로봇 구현체 전반에 걸쳐 행동으로 변환하는 것을 요구합니다. 기존 내비게이션 시스템은 작업별 또는 구현체별 구성 요소에 의존하여 지각, 추론, 행동을 파편화하고 일반화 능력이 제한적이라는 한계가 있었습니다.

본 논문은 이러한 문제를 해결하기 위해 사전 학습된 비전-언어 모델(VLM)의 공간 지능을 이끌어내고 내비게이션과 정렬하는 경량의 범용 신체화 내비게이션 모델인 LightNav-0을 제시합니다. LightNav-0은 작업별 예측 헤드 없이도 통일된 토큰 인터페이스를 통해 다양한 내비게이션 작업을 표현합니다. 특히 듀얼 채널 포인팅은 작업, 장면, 구현체에 구애받지 않는 공간 의도를 표현하며, 잔여 벡터 양자화 액션 토크나이저를 사용하여 이 의도를 정밀한 구현체별 궤적으로 매핑합니다.

이 모델은 시간 인식 시각 기록 압축, ER 중간 훈련, 지도 미세 조정, 강화 학습 등을 통해 훈련되었으며 2K 이상의 장면과 4K 이상의 신체화 내비게이션 데이터를 사용합니다. LightNav-0의 초기화에 사용된 신체화 추론 체크포인트인 LightNav-ER은 8가지 신체화 추론 벤치마크에서 최고 평균 점수를 달성했습니다. 또한 LightNav-0은 10가지 공개 내비게이션 시뮬레이션 설정에서 최고 수준의 단안 성공률을 달성했습니다.

실제 평가 결과는 로봇 구현체, 다양한 장면, 정적 및 동적 목표에 걸친 제로샷 일반화를 입증합니다. 이는 경량 VLM이 범용 신체화 내비게이션을 위한 통일되고 전이 가능한 백본임을 확립합니다.

LLM 및 VLM 에이전트의 전략적 기만 행위는 AI 정렬 및 안전성 분야에서 핵심적인 우려 사항으로 부상하고 있습니다. 현재의 사회 추론 게임은 다중 에이전트 환경에서 신원을 추론하는 테스트베드로 사용되지만, 기존 테스트베드는 텍스트 기반이며 단일 에이전트 구성에서 실행되어 기만 행위의 핵심으로 간주되는 비언어적 감각 운동 채널을 놓치고 있습니다. 이로 인해 관찰된 행동이 모델 자체에 의한 것인지 주변 환경(하네스)에 의한 것인지 모호한 상태가 발생합니다.

이에 연구진은 이러한 한계를 극복하기 위해 3차원 멀티모달 Among Us 샌드박스인 MineAmongUs를 제안했습니다. 이 샌드박스에서는 임포스터 에이전트가 언어적 및 비언어적 행동을 통해 승무원을 속여야 합니다. 또한, VLM 에이전트 하네스를 구성 가능한 ARIA로 제안하여 다섯 가지 인지 구성 요소 제거 축을 노출시킵니다.

더불어, 기만 분류 체계에 기반하고 LLM-as-a-Judge가 대규모로 운영하여 인간 수준의 원자 수준 레이블 일치에 도달한 원자 및 아크 수준의 주석 체계를 제시했습니다. 실험 결과는 VLM 에이전트가 언어적 및 비언어적 기만을 통해 임포스터 승리를 추구하며, 하네스 제거 및 교차 VLM 평가 모두에서 비언어적 채널이 승리에 더 결정적인 기여를 한다는 것을 보여줍니다.

이 연구는 구체적인 신체화된 VLM 에이전트 정렬 연구를 위한 새로운 경로를 열어줍니다.

추측 디코딩(Speculative Decoding)은 드래프트 모델을 사용하여 후보 토큰을 생성하고 타겟 모델이 단일 순방향 패스로 이를 검증함으로써 대규모 언어 모델 추론 속도를 가속화합니다. 그러나 기존의 드래프트 학습 방식은 토큰 수준의 모방에 고정된 위치별 가중치를 적용하여 실제 검증 과정을 반영하지 못하는 한계가 있었습니다.

이에 연구진은 검증 과정을 학습 단계마다 시뮬레이션하고 그 결과인 수용 및 거절 패턴을 감독 신호로 활용하는 플러그인 프레임워크인 검증 인식 학습(Verification-Aware Training, VAT)을 제안합니다. VAT는 두 가지 구성 요소로 이루어져 있는데, 하나는 각 위치가 순차적 검증을 통과하는지 감독하는 경량 이진 분류기인 검증 헤드이며, 다른 하나는 고정된 가중치 스케줄을 대체하여 샘플의 첫 거절 지점까지 전체 가중치를 유지하고 감쇠를 재기준 설정하는 검증 적응형 가중치입니다.

VAT는 학습 목표만을 수정하기 때문에 드래프트 아키텍처, 타겟 모델 또는 추론 절차를 변경하지 않고 기존 방법론 위에 적용할 수 있습니다. EAGLE-3 및 DFlash 모델에 Qwen3-4B, Qwen3-8B, LLaMA-3.1-8B에 VAT를 적용한 결과, 평균 수용 길이(acceptance length)가 최대 11.4% 향상되었고 벽시계 속도(wall-clock speedup)는 최대 8.7% 향상되었습니다. 이러한 성능 향상은 수학, 코드, 채팅 벤치마크 전반에서 일관되게 나타났습니다.

파라미터 효율적인 모델 적응에 널리 사용되는 LoRA(Low-Rank Adaptation)의 훈련 역학을 안정적이고 효과적으로 최적화하는 방법에 대한 연구가 부족했습니다. LoRA는 업-프로젝션(up-projection)을 0으로 초기화하기 때문에 초기 최적화 역학은 주로 다운-프로젝션(down-projection)에 의해 지배됩니다.

이러한 관찰을 바탕으로 연구진은 훈련 중에 다운-프로젝션 행렬을 정규화하는 간단하면서도 효과적인 방법인 정규화된 저랭크 적응(Normalized Low-Rank Adaptation, NoRA)을 제안했습니다. NoRA는 정규화를 초기화 시점에만 적용하여 반복적인 정규화 없이 표준 LoRA를 개선합니다.

NoRA는 사전 훈련, 지도 미세 조정, 강화 학습 전반에 걸쳐 수렴 속도를 가속화하고 성능과 훈련 안정성을 향상시키며 치명적인 망각(catastrophic forgetting)을 완화하는 것으로 나타났습니다. 이 모든 이점은 추가적인 학습 가능한 파라미터나 추론 시 계산을 요구하지 않아 NoRA를 LoRA에 대한 간단하고 광범위하게 적용 가능한 개선책으로 만듭니다.

최근 비디오 생성 모델들은 오디오를 생략하거나 별도의 단계에서 합성하는 경우가 많아 시각적 역동성과 음향 이벤트 간의 상호 모델링이 제한되어 왔습니다. 이에 DreamX-Creator 1.0은 7B 생성기를 중심으로 하는 통합적인 오디오-비디오 생성 시스템을 제시합니다. 이 시스템은 첫 프레임과 텍스트 프롬프트를 조건으로 사용하여 양방향으로 오디오 및 비디오 스트림을 공동으로 노이즈 제거합니다.

모델은 네트워크의 전반부에서 스트림을 독립적으로 처리한 후, 후반부에서 게이티드 교차 모달 어텐션(Gated Cross-Modal Attention)을 통해 스트림을 결합합니다. 이 어텐션 헤드 출력 게이트는 각 활성 교차 모달 어텐션 헤드의 출력을 조절하여 시각적 및 청각적 정보를 효과적으로 통합합니다. 또한 통합 오디오-비디오 데이터 시스템은 시간적으로 일관된 클립을 구성하고 구조화된 멀티모달 주석을 생성하여 클립을 역량 중심의 데이터 풀로 정리합니다.

DreamX-Creator 1.0은 두 단계의 오디오-비디오 사전 훈련과 고품질 미세 조정을 포함하는 점진적 공동 훈련(Progressive Joint Training)을 통해 학습됩니다. 여기에 모달리티 인식 멀티모달 피드백(Modality-Aware Multimodal Feedback)을 활용한 오디오-비디오 강화 학습(Audio-Video Reinforcement Learning)을 추가하여 생성기를 추가로 훈련시킵니다. 고해상도 출력을 위해 자기회귀 1단계 2K 정제(Autoregressive 1-Step 2K Refinement) 파이프라인은 양방향 다단계 교사를 자기회귀 다단계 정제기로 변환하여 시간 청크당 한 번의 노이즈 제거 평가만 필요하도록 압축합니다.

결과적으로 DreamX-Creator 1.0은 최첨단 오픈 소스 시스템과 경쟁할 만한 성능으로 네이티브하고 동기화된 오디오-비디오 생성을 달성했습니다. 개발자들은 이 시스템이 7B 생성기와 2K Refiner를 공개함으로써 통합 오디오-비디오 생성 연구를 위한 접근 가능한 기반을 제공하고 오디오-비디오 생성 기술을 대중화할 수 있기를 기대합니다.

BLARM은 모노큘러 비디오와 정적 객체 메시를 입력으로 받아 비디오를 따라 움직이는 시간적으로 일관성 있는 3D 메시 애니메이션을 예측하는 피드포워드 방법론을 소개합니다. 기존 방식처럼 명시적인 리깅이나 고차원 버텍스 움직임을 직접 회귀하는 대신, BLARM은 학습된 시간 변화형 강체 움직임 구성 요소와 시간 불변의 버텍스-구성 요소 스키닝 가중치를 사용하여 애니메이션을 표현합니다.

이 접근 방식은 스켈레톤, 케이지, 스키닝 가중치 또는 리그 주석 없이도 필요한 저차원 변형 공간을 제공합니다. 아키텍처는 공간-시간 주의(spatial-temporal attention)를 통해 기하학 기반 변형 잠재량(deformation latents)을 비디오 특징에 조건화한 다음, 예측된 스키닝 가중치로 혼합된 강체 변환을 디코딩합니다.

BLARM은 궤적 재구성, 엔트로피 정규화, 그리고 움직임 인식 대조 학습을 통해 훈련되었으며, 이를 통해 모노큘러 비디오에서 간결하고 해석 가능한 움직임 구조를 복원하면서 정확하고 시간적으로 안정적인 애니메이션을 생성합니다. 이는 복잡한 3D 애니메이션 생성 시 명시적인 제약 조건 없이 움직임을 효율적으로 모델링하려는 개발자에게 유용한 방법론을 제시합니다.

자율 과학 연구 에이전트는 문헌 검토, 데이터 분석, 실험, 보고서 생성 등 종단 간 과학 워크플로우에 점점 더 많이 적용되고 있습니다. 하지만 이러한 연구 작업은 종종 필요한 분석, 방법, 성공 기준을 명확하게 지정하지 않아 에이전트가 중요한 분석을 놓치거나 부적절한 방법을 사용하거나 증거로 충분히 뒷받침되지 않는 결론을 도출할 수 있습니다.

이 문제를 해결하기 위해 연구 실행 전에 작업별 실행 가능한 루브릭을 유도하는 평가 우선 프레임워크인 AutoSciRub을 제시합니다. AutoSciRub은 모호한 지시 사항을 원자적 과학 목표로 분해하고 관련 문헌 및 작업에서 보이는 데이터에 근거하며 구체적이고 실행 가능하며 검증 가능한 기준을 합성합니다. 이 루브릭은 암묵적인 실험 및 증거 요구 사항을 명시적으로 만들어 실험과 분석에 대한 지침을 제공합니다.

또한, 루브릭 기반 검증을 통해 충족되지 않은 기준을 식별하고 연구 보고서와 지원 산출물을 목표 지향적으로 개선할 수 있습니다. ResearchClawBench에서는 AutoSciRub이 고정된 Codex 하네스 및 고정된 DeepSeek-V4-Flash 백본 LLM 하네스에서 평균 2.08점, 에이전트 하네스에서는 2.95점의 평균 점수를 개선했습니다. AstaBench E2E Discovery의 무작위 샘플 20개 작업 세트에서는 세 가지 에이전트 하네스에 걸쳐 평균 16.8점의 개선을 달성하면서 성공적으로 완료된 작업의 수를 유지하거나 증가시켰습니다.

이러한 결과는 평가 우선 지침이 자율 과학 연구를 위한 효과적이고 일반화 가능한 제어 메커니즘을 제공한다는 것을 입증합니다. (Code: https://github.com/zjunlp/AutoSciRub)

부분적으로 관측 가능한 환경에서 AI 에이전트는 지속적으로 발전하는 지각 상태를 유지하기 위해 능동적 감각(active sensing)과 작업 기억(working memory)을 조정해야 합니다. 그러나 기존 벤치마크들은 물리적 및 제어 복잡성을 도입하여 지각 상태 구성 및 해석 능력을 분리하기 어렵다는 한계가 있습니다. 이를 해결하기 위해 MNIST-PRO라는 벤치마크가 제시되었는데, 이는 MNIST 숫자 인식을 시점 제약(lookback constraints)이 있는 순차적, 엿보기 기반 탐색 과제로 변환하여 에이전트의 지각 능력을 분리합니다.

이 연구는 원시 시각 기록, 텍스트 상태, 구조화된 메트릭 그리드 맵, 통합된 시각 캔버스 등 네 가지 기억 표현을 사용하여 열 가지 멀티모달 모델을 평가했습니다. 모델들은 완전한 관측 하에서는 우수한 성능을 보였지만, 부분적 관측 상황에서는 명확한 성능 격차가 드러났습니다. 연구진은 이 과정에서 세 가지 주요 병목 현상을 식별했습니다. 첫째, 에이전트가 파편화된 엿보기(glimpses)를 통합하는 데 어려움을 겪으며 지각 상태를 구성하고 해석하는 데 도전이 발생합니다.

둘째, 에이전트는 전체 시퀀스를 보기 전에 탐색을 중단하는 경향이 있습니다. 셋째, 에이전트는 후속 모순되는 증거에 직면하더라도 초기 잘못된 믿음을 수정하지 못하는 경우가 많습니다. 이러한 결과는 단순히 시각적 증거를 획득하는 것만으로는 충분하지 않으며, 에이전트가 신뢰할 수 있는 지각 상태를 구축하고 업데이트할 수 있어야 함을 보여줍니다.

대규모 언어 모델(LLM) 에이전트는 장기적이고 상호작용적이며 상태를 기억하는 환경에서 점점 더 많이 사용되고 있습니다. 이러한 환경에서 잘못된 행동 하나는 되돌릴 수 없는 작업 실패를 초래할 수 있으므로 실행 전에 반드시 차단되어야 합니다. 이러한 실패는 모든 실행에서 나타나지 않을 수 있지만 반복된 시도에서 발생할 수 있어 단계와 시도 전반에 걸친 신뢰성이 매우 중요합니다.

하지만 에이전트의 신뢰성을 보장하는 것은 어렵습니다. 최첨단 LLM조차도 특히 도메인별 정책에 의해 통제되는 길고 얽힌 궤적에서 행동이 왜 잘못되었는지 설명하는 데 어려움을 겪습니다. 최근 연구들은 프롬프트 기반 비평 에이전트에 의존하는 반면, 최적화 기반 방법들은 훈련을 위한 풍부한 검증 추론을 체계적으로 생성하는 방법을 부족하게 여깁니다.

이러한 격차를 해소하기 위해 CAST라는 비평 인식 훈련 프레임워크가 제안되었습니다. CAST는 희소한 작업 결과를 비평 학습과 정책 최적화를 위한 행동 수준의 감독으로 변환하는 비평 인식 훈련 방법입니다. CAST는 에이전트 궤적을 분석하여 부분 관찰 하에서 행동의 유효성을 설명하는 구조화된 추론을 합성합니다.

이러한 비평 모델은 정책 모델을 최적화하기 위한 비평 인식 훈련 데이터를 구성하는 데 사용됩니다. CAST를 사용하여 동적 도구 호출 벤치마크에서 Qwen3 계열 모델을 미세 조정했을 때, CAST는 도메인 전반의 신뢰성을 향상시켰습니다. 이 결과는 소매(Retail) 작업에서 GPT-OSS-120B보다 10% 이상의 통과율을 능가했으며, 도메인 외 환경에서 헬스케어(Telehealth) 분야에서 추가로 9%의 개선을 달성했습니다. 이는 비평 인식 훈련이 현실적인 동적 환경에서 LLM 에이전트의 견고성을 향상시킨다는 것을 보여줍니다.

학습 환경 생성에 특화된 모델인 CogEvol을 소개하며, 과정에서 코스 개요를 완성된 학습 결과물(구조화된 JSON 슬라이드 또는 자체 포함형 인터랙티브 HTML 페이지)로 단일 단계에 만들어냅니다. 이 모델은 22만 건의 실제 생산 요청을 처리했으며, 슬라이드는 평균 17초, 인터랙티브 페이지는 59초 만에 완료되어 기존의 수 분이 걸리는 멀티턴 에이전트 스캐폴딩 과정을 대체합니다.

CogEvol은 신뢰성을 추구하며, 실제 실패 사례를 기반으로 한 데이터 파이프라인을 통해 53,687개의 검증된 SFT 샘플을 확보했습니다. 또한, 하이브리드 규칙-VLM 보상을 통해 강화 학습(GRPO 기반 RL)을 진행했으며, 시각적으로는 그럴듯하지만 플레이 불가능한 게임을 생성하는 보상 해킹 문제를 수정하여 모델의 안정성을 강화했습니다.

CogEvol-27B 모델은 플래그십 코딩 모델보다 26.9배 적은 파라미터로 슬라이드 품질 83.7점과 500개 사례 인터랙티브 HTML 벤치마크에서 63.7점을 기록했습니다. 특히 인터랙티브 페이지 생성 비용은 스캐폴딩 편집을 통해 추가로 약 76% 절감되었으며, 전체 스택은 국내 어센드 가속기에서 A800 GPU와 동등한 수준으로 구동되어 AI 기반 교육의 단위 비용을 대규모로 낮춥니다.

CogEvol-4B 모델은 Apache 2.0 라이선스로 공개되었으며, OpenMAIC 팀과 협력하여 실제 생산 트래픽을 지원하고 있습니다. 이 모델은 국내 하드웨어 환경에서 효율적인 학습 환경 생성을 실현하는 데 기여합니다.

장거리 물리 세계 에이전트는 먼 목표를 추론하면서도 신뢰할 수 있는 폐쇄 루프 행동에 결정을 기반으로 삼아야 합니다. 현재의 파운데이션 모델들은 이러한 능력을 분리하여 사용하고 있는데, 비전-언어 모델(VLM)은 정보 부족분을 추론하고 고수준 계획을 조정하지만 반복적인 내비게이션 기반을 확고히 하는 데는 비효율적입니다. 반면, 내비게이션 파운데이션 모델(NFM)은 의미론적 목표를 강력하게 실행하지만 지속적인 작업 수준 추론 없이 제한된 에피소드 내에서만 작동합니다.

이러한 한계를 극복하기 위해 연구진은 장거리 탐색을 위한 VLM 추론 에이전트와 NFM 실행기를 결합하는 에이전트 스캐폴딩 프레임워크인 NavMCP를 제안했습니다. NavMCP는 VLM이 어떤 증거를 찾고, 어디를 검색하며, 언제 멈출지 결정하게 하고, NFM이 각 의미론적 하위 목표를 폐쇄 루프 내비게이션으로 기반화합니다. 이 두 모델의 협업은 의도가 내비게이션 호출로, 관찰이 소스 기반 궤적 증거로, 메모리가 발견 사항과 부정적 증거를 축적하는 세 가지 채널을 통해 구조화됩니다.

이러한 설계는 개별 내비게이션 롤아웃을 재학습 없이 지속적인 체화 상호작용으로 전환시킵니다. NavMCP는 체화 질문 응답(Embodied Question Answering, HM-EQA), 멀티모달 내비게이션(MT-HM3D), EXPRESS-Bench에서 최고 수준의 결과를 달성했습니다. 특히 HM-EQA에서는 에이전트와 실행기 백본이 일치할 때 기존의 에피소드 인터페이스보다 14.9%p 더 나은 성능을 보였습니다.

Unitree Go2 모델에서 NavMCP는 78.3%의 성공률을 달성했으며, 작업 범위가 증가함에 따라 가장 강력한 기준선 대비 마진이 10점에서 45점으로 증가하는 것을 확인했습니다. 이는 상호 보완적인 파운데이션 모델을 장거리 물리 세계 에이전트에 스캐폴딩하는 잠재력을 입증합니다.

컴포저블 장면 모델링은 실제 실내 장면을 관찰된 대로 배열된 완전하고 편집 가능한 객체 에셋으로 복원하여 로봇 시뮬레이션 및 체화된 AI를 위한 시뮬레이션 준비가 된 현실 환경 복제본을 제공하는 것을 목표로 합니다. 기존 파이프라인은 관찰을 인스턴스로 파싱하고, 각 인스턴스에 대한 에셋을 생성하고, 에셋을 다시 배치하는 세 단계로 구성되어 있지만, 이 과정은 정확한 인스턴스 기하학, 가려지지 않은 시점, 그리고 관찰과 정확히 일치하는 에셋과 같은 입력이 부족한 상황을 가정합니다.

Lucida는 이러한 순서를 유지하면서 요구 사항을 재분배하여, 각 단계가 실제 캡처가 신뢰할 수 있게 제공하는 정보만을 소비하도록 제안합니다. 이를 통해 정밀도는 시작 단계가 아닌 파이프라인의 끝에서 달성됩니다. Lucida는 비디오를 다중 시점 증거를 담은 노드를 가진 장면 그래프로 파싱하고, 각 인스턴스에서 증거를 바탕으로 완전한 에셋을 생성하며, 배치에는 GizmoAct라는 VLM 정책을 사용합니다. 이 정책은 배치를 다중 턴 GUI 상호작용으로 간주하여 객체의 기즈모를 닫힌 루프에서 조작하고 정렬이 달성되면 스스로 결정합니다.

이러한 접근 방식은 장면 수준의 3D 객체 감지, 객체 자세 추정, 장면 재구성 전반에 걸쳐 성능을 크게 향상시킵니다. Lucida는 R2S-Scene에서 Boxer 대비 mAP를 69% 개선했으며, CA-1M에서 [email protected]를 57.8%에서 83.4%로 높였고, SAM3D에 대한 장면 F-Score를 0.794에서 0.924로 증가시켰습니다.

Qwen3.8-Flash-Next는 1250억 개의 파라미터를 가진 희소 혼합 전문가(sparse mixture-of-experts) 모델로, 토큰당 60억 개의 활성화 파라미터를 사용하며 추가로 510억 개의 n-gram 임베딩 테이블을 가속기 외부에서 유지하여 효율성을 극대화했습니다. 이 모델은 14가지 사전 학습 벤치마크에서 3970억 개의 파라미터 모델보다 8개 벤치마크에서 앞서고 나머지 벤치마크에서는 최대 2.6%p 차이로 뒤처지면서도, 활성화 파라미터는 1/3, 학습 토큰은 1/3, 훈련 FLOPs는 약 1/9 수준으로 훨씬 효율적인 성능을 보였습니다.

모델 구조는 게이티드 델타넷(GDN)과 글로벌 어텐션의 하이브리드 방식으로 토큰 혼합을 수행하며, 지속적인 사전 학습 시에는 마이크로 블록 단위로 컨텍스트를 평가하는 Qwen Sparse Attention(QSA)으로 전체 어텐션 레이어를 대체하여 효율성을 높였습니다. 또한 잔차 스트림은 네 개의 브랜치로 확장하고 요소별 게이트를 통해 읽어들이는 게이티드 잔차(Gated Residual, GR) 디자인을 채택했습니다.

이 모델은 n-gram 임베딩 레이어를 백본 외부에 추가하여 용량을 확장했으며, 손실과 다운스트림 정확도가 항상 함께 움직이지 않는다는 점을 고려하여 n-gram 어휘 크기를 늘리면 손실은 단조롭게 감소하지만 다운스트림 정확도는 포화되는 트레이드오프를 분석했습니다.

이러한 설계와 Muon 옵티마이저의 결합은 최적의 학습률과 배치 크기를 상향 조정하고 배치 크기 워밍업을 불필요하게 만들었으며, 스트레스 테스트 하에서 안정성을 크게 향상시켰습니다. 결과적으로 손실, 벤치마크, 효율성, 안정성은 하나의 설계 문제로 통합되어 동시에 더 효율적이고, 더 유능하며, 더 안정적인 결과를 도출하는 방법을 제시합니다.