읽을 가치가 있는 기사만, 짧고 또렷하게.

비디오 세계 모델의 기반이 되는 자기회귀 생성은 실시간 인과적 비디오 합성의 핵심입니다. 현재 지배적인 접근 방식은 양방향 확산 모델을 인과적 소수의 단계 학생 모델로 압축하지만, 기존 파이프라인은 수만 시간의 GPU 사용량과 테라바이트의 저장 공간을 요구하는 오프라인 확률 흐름 ODE(PF-ODE) 궤적을 필요로 하여 비용이 매우 높습니다.

연구진은 이러한 효율성을 극대화하는 과정에서 궤적 감독을 단일 샘플로 줄이는 실험을 진행했고, 이는 심각한 품질 저하를 초래한다는 것을 발견했습니다. 이는 교사(teacher) 궤적의 기하학적 특성 때문인데, 고잡음 영역은 의미적 레이아웃과 움직임을, 저잡음 영역은 미세한 질감을 관장하며 근본적으로 다른 곡률과 최적화 행동을 보이기 때문에 단일 학생 모델이 이를 동시에 맞추지 못해 심각한 표현 간섭이 발생합니다.

이에 연구진은 Glance Forcing이라는 경량 증류 프레임워크를 제안했습니다. 이 방법은 사전 학습된 교사 모델을 고정시킨 채, 디노이징 궤적을 두 가지 보완적인 전문가인 느린 전문가와 빠른 전문가로 분리하여 각 단계별 맞춤형 목표에 따라 안내합니다. 이 분리 과정은 PF-ODE 증류가 궤적 기하학을 정리하는 반면, 이후의 분포 일치 단계가 분포 품질을 독립적으로 제어하는 일반적인 메커니즘을 드러냅니다.

Glance Forcing을 사용해 단 하나의 PF-ODE 궤적만으로도 이미 최고 수준의 사전 훈련된 기준선(state-of-the-art baseline)을 능가했습니다. 이 결과, VBench 총점은 84.04에서 84.22로 상승했으며, 궤적 수집 비용은 수천 GPU 시간에서 약 한 개의 A100 GPU 시간으로 대폭 절감되었습니다. 또한 동적 정도(dynamic degree), VisionReward, 지시 사항 준수(instruction-following)에서 현저한 향상을 보였으며, 인간 평가자들로부터 강력한 기준선보다 일관된 선호도를 얻었습니다.

기존의 비디오 객체 제거 방법들은 영상당 수 분의 처리 시간과 비인과적 처리로 인해 실시간 상호작용이 불가능하다는 한계를 가지고 있습니다. 이에 본 논문은 단일 GPU에서 초당 26 FPS의 스트리밍 생성을 통해 서브초의 지연 시간으로 비디오를 처리할 수 있는 StreamErase를 제안합니다.

StreamErase는 마스크 입력을 통해 고품질 비디오를 생성하고 배경을 합성하는 방식으로 시작하지만, 강력한 양방향 기반 모델에서 제거 능력을 효율적인 단방향 스트리밍 지우개로 점진적으로 이전하여 시각적 충실도를 유지하면서 장기적인 제거를 가능하게 합니다. 이는 특히 무한한 길이의 비디오를 처리할 때 발생하는 도메인 격차, 오류 누적, 그리고 계산 비용 증가 문제를 해결하는 데 중점을 둡니다.

이러한 문제를 해결하기 위해 학습 과정에서 어텐션 싱크를 사용한 슬라이딩 윈도우 인과적 어텐션을 설계하고, 훈련 중 셀프 롤아웃과 KV 캐시 롤링을 통합하여 고정된 컨텍스트 창 내에서 임의의 길이의 비디오를 일정한 속도로 생성할 수 있게 합니다. 이를 통해 장기 비디오 객체 제거를 위한 LongErase 벤치마크를 구축했으며, 기존 모델 대비 강력한 성능과 실제 비디오 시나리오에 대한 일반화 능력을 입증했습니다.

StreamErase는 사용자가 마스크를 입력하면 제거 결과가 실시간으로 펼쳐지는 것을 볼 수 있게 하여 진정으로 상호작용적인 경험을 제공합니다. 이는 기존의 비디오 처리 방식이 가지는 한계를 넘어선 무한 길이 스트리밍을 가능하게 하는 중요한 진전을 의미합니다.

새로운 생성적 세계 시뮬레이션 프레임워크가 지속적인 공유 세계 상태와 연속적인 1인칭 시청각 생성을 결합하는 방식을 제시합니다. 이 프레임워크는 계산 가능한 세계 엔진인 DAO와 시점 중심 상호작용 경험 모델인 JING을 통합하여 인간과 에이전트를 위한 지속적인 상호작용을 지원합니다.

DAO는 캐릭터, 객체, 공간 및 그 관계의 상태를 유지하며, 상호작용 규칙과 세계 시간에 따라 세계를 발전시키고 과거 행동의 결과를 보존합니다. 이 진화하는 상태로부터 DAO는 관찰자별 조건을 도출하며, 이는 캐릭터, 객체, 장면 참조, 관찰 기록, 현재 행동을 결합하여 각 관찰자의 시청각 경험을 생성하는 JING에 사용됩니다.

사용자는 시점 제어와 텍스트 지시를 통해 환경을 탐색하고 객체를 조작하며 캐릭터와 소통할 수 있으며, 이러한 행동은 공유 상태와 후속 경험 모두에 영향을 미칩니다. 이 프레임워크는 세계 상태의 진화와 경험 생성을 연속적인 상호작용 루프에서 연결함으로써, 역사성을 유지하고 행동을 통해 진화하며 개별 관찰자를 넘어 지속되는 상호작용 세계를 구축하는 접근 방식을 제공합니다.

거대 언어 모델(LLM)이 전문 도메인에서 복잡한 실제 작업을 수행하고 있지만, 시나리오 정보가 여러 파일에 분산되어 있을 때 도메인별 규칙을 식별하고 올바르게 적용하는 데 어려움을 겪고 있습니다. 기존의 규칙 추론 벤치마크들은 몇 가지 사실 진술만을 사용하여 시나리오를 단순화함으로써 관련 규칙의 식별과 적용을 용이하게 했습니다.

이러한 격차를 해소하기 위해 본 논문은 복잡한 시나리오에서의 에이전트 규칙 추론을 위한 다중 도메인 벤치마크인 RuleTrek을 소개합니다. RuleTrek은 규칙 기반 구성 파이프라인을 통해 구조화된 규칙 그래프를 추출하고, 일관성과 해결 가능성을 보장하면서 규칙별 하위 시나리오를 생성하고 점진적으로 조합합니다.

RuleTrek은 상호작용 작업 공간에서 에이전트의 규칙 추론 능력을 체계적으로 평가하기 위해 세 가지 역량, 즉 규칙 식별(RI), 규칙 추론(RD), 그리고 종단 간 규칙 추론(E2E)을 측정합니다. 11개의 최첨단 LLM에 대한 실험 결과, 가장 높은 RI와 RD 점수는 각각 62.47%와 60.43%에 불과하며, E2E 점수는 26.97%에서 55.29% 사이로 나타났습니다.

이러한 결과는 현재 LLM 에이전트가 복잡한 시나리오에서 규칙 추론을 수행하는 데 상당한 어려움을 겪고 있음을 보여줍니다. RuleTrek의 코드와 데이터셋은 https://github.com/yuan247/RuleTrek{RuleTrek}에서 공개되어 있습니다.

거대 언어 모델(LLM) 에이전트는 외부 도구와의 다중 턴 상호작용을 통해 복잡한 작업을 수행하지만, 사용자 질의, 도구 설명, 환경 관찰에 악의적인 내용이 포함될 경우 에이전트의 결정을 조작하고 안전하지 않은 행동을 유발할 수 있습니다. 이러한 문제를 해결하기 위해 적대적 공동 진화(adversarial co-evolution)가 LLM 안전성을 강화하는 효과적인 접근 방식으로 부상했지만, 기존 연구들은 주로 언어 수준 안전성이나 웹 작업에서의 간접적인 프롬프트 주입에 초점을 맞추고 있었습니다.

본 논문에서는 다양한 작업과 공격 유형을 포괄하는 공격자-방어자 게임을 기반으로 하는 에이전트 안전을 위한 공동 진화 강화 학습 프레임워크인 AgentSafeEvo를 소개합니다. 이 프레임워크는 공격자가 방어자의 도구 사용 약점을 노출하는 적대적인 에이전트 작업을 구성하도록 학습하고, 방어자는 이러한 공격 하에서 작업을 안전하게 완료하도록 학습하는 방식으로 작동합니다.

또한, 본 연구는 작업별 공격자와 방어자의 업데이트 기여도를 조정하기 위해 작업 내 방어자 보상 변동성을 활용하는 학습 가능성 기반 작업 가중치(learnability-guided task weighting)를 추가로 제시합니다. 광범위한 에이전트 안전 및 일반 능력 벤치마크 실험 결과, AgentSafeEvo 방법은 일반 에이전트 능력을 유지하면서 적대적 강건성을 향상시키는 것으로 입증되었습니다.

컨텍스트 정보는 대규모 언어 모델의 성능을 향상시키지만, 컨텍스트를 제거했을 때 이러한 성능 향상이 손실될 수 있다는 문제가 제기되었습니다. 연구진은 생물학적 시스템의 통합 과정을 참고하여 메모리 통합(Memory Consolidation, MC)을 제안하며, 이는 목표 성능을 유지하면서 컨텍스트 기반 편집, 기술 학습, 행동 조향을 공통 목표 아래 통합하는 방식입니다.

연구팀은 단일 업데이트, 배치 업데이트, 순차적 업데이트 상황에서 통합 및 유지 능력을 측정하기 위해 다섯 가지 작업군 테스트베드를 도입했습니다. 이를 바탕으로 컨텍스트를 내부화하면서 비목표 능력을 보존하는 것을 목표로 하는 Cortex 모델을 제안했습니다. Cortex는 컨텍스트 사용을 예측하는 질의를 생성하고 컨텍스트 조건부 출력을 병합 가능한 저랭크 또는 구조적 순방향 네트워크 업데이트로 압축합니다.

Cortex는 4B에서 120B에 이르는 밀집 및 혼합 전문가 백본 모델, 텍스트 전용 및 멀티모달 모델 모두에서 통합과 유지의 경험적 파레토 경계에 위치합니다. 구체적으로 14B 모델에 대해 50번의 순차적 사실 편집을 수행한 후, Cortex-Structural은 컨텍스트로 인해 발생한 성능 향상의 88.9%를 회복하면서도 원래의 비목표 성능의 99.8%를 유지했습니다.

능력 있는 언어 모델 에이전트를 더 작은 모델로 증류하려면 학생의 행동을 교사의 행동과 일치시켜야 하는데, 이 정렬을 어느 상태와 어떤 세분성으로 수행해야 하는지에 대한 근본적인 질문이 제기됩니다. 기존의 오프라인 모방 학습은 토큰별 감독을 제공하지만 상태 분포 불일치 문제를 겪을 수 있으며, 토큰 수준의 온폴리 증류(OPD)는 이를 해결하지만 교사의 토큰 확률과 호환되는 토큰화가 필요합니다.

본 연구는 에이전트 증류를 위한 감독 단위로 의미적 행동(semantic actions)을 제시하며, 학생이 마주치는 상태에서 교사의 행동 가능성을 최대화하는 행동 수준의 온폴리 증류 방법인 ActionOPD를 도입합니다. ActionOPD는 각 상태에서 학생과 블랙박스 교사의 행동을 샘플링하고, 샘플링된 교사 행동과의 의미적 일치에 따라 학생 행동에 보상을 부여하여 교사의 추론이나 토큰 확률 없이 학생의 행동 수준 행동을 교사의 결정과 일치시킵니다.

이 방법은 Qwen3-4B 및 Qwen3-8B 모델을 두 명의 교사로 훈련시켜 다양한 도구 사용 작업에서 네 가지 분포 외 벤치마크에서 평균 3.3~6.9 퍼센트 포인트의 평균 이득을 달성했습니다. ActionOPD는 교사와 학생이 동일한 모델 패밀리나 토크나이저를 공유할 필요 없이 학생 크기와 교사 능력에 따라 유리하게 확장되며, $\tau^2$-벤치에서 오프라인 증류 및 토큰 수준 OPD와 경쟁하는 성능을 보였습니다.

또한 동일한 모델 교사와 특권적 컨텍스트를 사용하여 Self-ActionOPD를 추가로 탐구했으며, 이러한 결과는 ActionOPD가 에이전트 증류를 위한 유망한 접근 방식임을 입증합니다.

비전-언어-행동(VLA) 모델은 대규모 언어 모델(LLM)로부터 상식적 사전 지식을 물려받으며 자율 주행 분야에서 주목받고 있지만, 자유로운 자연어 지시 인터페이스로 인해 새로운 취약점이 발생했습니다. 부주의한 운전자가 현재 상황에 위험한 지시를 내리거나 악의적인 사용자가 위험한 지시를 내릴 수 있는 보안 문제가 제기됩니다. 기존의 VLA 모델들은 이러한 문제에 취약하며, 예를 들어 SimLingo는 닫힌 루프에서 언어 지시를 따른 차선 변경을 완료하지 못하고 충돌 신호가 상충될 경우 모델 성능이 급격히 저하됩니다.

이에 연구진은 내비게이션 준수와 충돌 인식을 함께 평가하고 적대적 강건성을 평가하는 최초의 벤치마크 세트를 제시했습니다. 이를 해결하기 위해 SafeDriveVLA라는 새로운 자율 주행 VLA를 제안했는데, 이는 충돌 추론과 행동 생성의 분리를 위해 세 가지 수준의 내비게이션 준수 모드를 명시적으로 예측하고 내비게이션 조건화된 세계 모델 꿈을 사용하여 이 예측을 뒷받침합니다. 기존의 세계 모델이 전문가 또는 계획된 행동을 실행하는 것과 달리, SafeDriveVLA는 내비게이션 신호를 엄격하게 따르는 것을 꿈꾸어 안전한지 여부를 보여줍니다.

SafeDriveVLA는 Bench2Drive에서 88.16의 주행 점수(DS)와 68.64%의 성공률(SR)을 달성했으며, 닫힌 루프 언어 추종 능력을 49.3% 향상시켰습니다. 또한, 안전하지 않은 지시에 따른 충돌을 기존 최고 SimLingo 변형 모델 대비 60건에서 38건으로 줄이는 데 성공했습니다. 이 결과는 VLA 모델이 복잡한 환경에서 안전하고 충돌을 인지하며 행동을 수행하도록 하는 데 중요한 진전을 의미합니다.

월드 액션 모델은 시각적 예측을 기반으로 의사 결정을 내리도록 목표하지만, 일반적으로 시각 역학에 독립적인 궤적 표현으로 액션 전문가를 훈련합니다. 따라서 시각적 움직임으로부터 직접 액션 목표를 도출하는 것이 필요합니다. 연구진은 미래 이미지로부터 궤적을 재구성하는 단순한 설정에서 시작했는데, 이 방식은 주요 동작은 포착하지만 센티미터 규모의 오차를 남깁니다.

이러한 문제를 해결하기 위해 연구진은 VITAL(Vision-Induced Tokens for Action Learning)을 제안했는데, 이는 시각적으로 파생된 동작 골격(motion scaffold)과 해당 골격이 남긴 궤적 오차를 인코딩하는 압축된 잔차(residual)를 결합하는 액션 토크나이저입니다. 이 표현 방식은 시각적 움직임을 주요 예측 대상으로 만들고 작은 측정 보정을 별도의 정규화된 학습 규모로 제공합니다.

액션 전문가는 현재 이미지, 자아 상태, 내비게이션 명령으로부터 이 두 구성 요소를 함께 예측하며 추론 시 미래 이미지를 생성할 필요가 없습니다. 또한, 동일한 잔차 좌표는 예측된 시각적 골격을 고정하면서 실행을 개선하는 경계 잡힌 강화 학습 후 훈련을 지원합니다.

VITAL을 사용한 결과, 단 한 번의 액션 디노이징 단계만으로 NAVSIM v1 navtest에서 90.8 PDMS를 달성했으며, 이는 10단계 점수 대비 0.13 포인트 차이이며 추론 속도는 기존 대비 3.29배 빨랐습니다. 추가 훈련 없이 NAVSIM v2 navtest에서는 91.1 EPDMS와 navhard에서는 38.6의 성능을 달성했습니다.

기존 로봇 정책 메모리는 관측 시퀀스를 따라 발전하며 각 업데이트를 동일한 물리적 시간으로 암묵적으로 처리합니다. 하지만 동일한 관측 이력은 서로 다른 지속 시간을 가질 수 있으며 다른 행동을 요구하기 때문에, 물리적 시간이 정책 메모리의 누락된 차원임을 드러냅니다.

본 연구는 이러한 문제를 해결하기 위해 과거 이벤트를 보존하고 측정된 시간 간격에 따라 메모리 상태를 발전시키는 메모리 역학을 학습하는 템포럴 플로우 정책(Temporal Flow Policy, TFP)을 제안합니다. TFP는 관측과 이전 메모리를 통해 각 전환의 내용과 시간 규모를 결정하고, 경과된 시간은 상태가 얼마나 진행되는지를 결정합니다.

TFP는 확산 및 플로우 매칭 정책을 이 메모리 상태를 통해 조건화하며, 고유의 모방 목표로 훈련됩니다. 실험 결과, 성공적인 타이밍은 측정된 간격과 보존된 이력 모두에 달려 있으며, TFP는 다른 메모리 설계보다 더 높은 평균 성공률을 달성했습니다.

메모리 판독 결과는 이벤트 발생 시점과 가림 후의 운동 정보를 복구하며, 제공된 간격을 변경하면 행동이 체계적으로 지연되거나 가속되어 시간 입력과 행동을 연결합니다. 이러한 결과는 로봇 메모리를 단순히 저장된 관측 이력으로 보는 것이 아니라, 과거 이벤트를 보존하고 물리적 시간과 함께 발전하는 상태로 보는 관점을 제시합니다.

사회적 에이전트의 상호작용이 효과적이려면 단순히 유창한 응답을 넘어 참여자들의 필요와 상황에 맞는 계획을 도출해야 합니다. 기존의 사회 에이전트 평가 방식은 대화 자체를 평가하는 LLM 심사관에 의존하여 결과로 도출된 계획의 타당성을 검증하지 못하는 한계가 있었습니다.

이러한 문제를 해결하기 위해 연구진은 HICO-Bench라는 벤치마크를 제안했습니다. 이 벤치마크는 자원 할당, 스케줄링, 승인 등의 일상적인 조정 시나리오 180가지를 포함하며, 두 에이전트가 사적인 정보를 가지고 대화한 후 합의한 계획을 독립적으로 기록하게 합니다. 프로그램은 두 기록이 양측의 사적인 조건을 만족하는지 확인하는 실현 가능성(Feasibility)을 검사하고, LLM 심사관은 대화가 기록된 계획을 뒷받침하는지 무결성(Integrity)을 검사하여 두 조건을 모두 통과하면 검증된 성공(Verified Success)으로 인정합니다.

각 시나리오는 동일한 공개 맥락을 공유하지만 사적인 조건이 달라 두 버전 간에 올바른 계획이 다르게 설정되므로, 이 검증 과정은 복잡한 상황에서의 계획 도출 능력을 측정합니다. 하지만 13개의 LLM을 대상으로 한 실험에서 목표 달성에 대해 높은 평가를 받은 대화 중 36%가 검증된 성공 기준을 통과하지 못하는 것으로 나타났습니다.

연구진은 대화의 끝에서만 결과가 나오는 이러한 특성을 학습하기 위해 쌍별 보상 정책 최적화(PaCPO)를 제안했습니다. PaCPO는 각 턴마다 에이전트에게 잠정 계획을 요청하고, 이 계획을 두 버전의 시나리오에 모두 확인한 후, 잠정 계획이 각 버전에 적합한 턴에 보상을 부여합니다. 이 방법은 Qwen3-8B 모델의 검증된 성공률을 20.4%에서 28.3%로 향상시키는 결과를 보였습니다.

텍스트 투 이미지 모델이 생성하는 중국어 텍스트에는 획이 추가되거나 누락되었거나 구성 요소가 잘못된 등 국소적인 렌더링 결함이 여전히 존재합니다. 이러한 오류는 인식 및 재인식에 훈련된 OCR이나 비전-언어 모델에게는 보이지 않으며, 렌더링 오류를 정의하는 구조적 편차와는 무관합니다.

본 연구는 텍스트 렌더링 검증을 목표 조건화 문제로 공식화하여, 주어진 목표 문자와 이미지 자르기(crop)가 해당 문자의 올바른 렌더링인지 판단하는 것을 목표로 합니다. 이를 위해 TEXTVERIFIER라는 검증기를 제안했는데, 이는 단일 문자 기호 대신 문자의 이상적 묘사 시퀀스(Ideographic Description Sequence, IDS)를 텍스트 타워에 입력하여 작동합니다.

TEXTVERIFIER는 1270만 쌍의 자르기-IDS 쌍과 레이블이 없는 "동일 문자, 다른 품질" 하드 쌍을 훈련 데이터로 사용하여 학습되었습니다. 이 능력은 TEXTRENDERBENCH-ZH라는 중국어 생성 텍스트를 위한 첫 번째 문자별 벤치마크를 통해 평가되었으며, 7,358개 문자에 대해 위치, 정체성, 정확성을 주석 처리했습니다.

평가 결과, TEXTVERIFIER는 F1 점수 0.844를 달성하여 OCR 신뢰도(0.526), 일반 VLM(0.329), TextPecker(0.590)보다 훨씬 높은 성능을 보였습니다. 이 검증기는 Flow-GRPO 후 훈련에서 문자별 보상으로 사용되어 렌더링 오류를 감지하고 수정함으로써 오류를 줄이는 데 기여합니다.

Looped Mixture-of-Experts(MoE) 모델은 파라미터 재사용과 희소 연산을 결합하여 균형 잡힌 예산 하에서 성능을 개선하는 것을 목표로 합니다. 기존 연구들은 서로 다른 루프 방문이 파라미터를 공유할 때도 각기 다른 역할을 수행할 수 있음을 보여주었습니다. 특히, 첫 번째 루프 방문의 규모를 줄이면 성능이 유지되거나 향상되지만 두 번째 방문의 규모를 줄이면 성능이 저하되는 비대칭성이 발견되었습니다.

이러한 비대칭성을 활용하여 저자들은 비대칭 컴퓨팅 할당을 탐구하는 것을 동기로 삼았습니다. 이를 바탕으로 LatentLoop를 제안했는데, 이는 첫 번째 방문의 시퀀스를 압축하고 두 번째 방문에서는 전체 해상도를 유지하며 절약된 연산을 숨겨진 크기를 늘리는 데 재할당합니다. LatentLoop는 첫 번째 방문이 전체 시퀀스를 얼마나 강하게 업데이트하는지 학습하고, 서로 다른 시퀀스 해상도를 수용하기 위해 별도의 어텐션 파라미터를 사용합니다.

1.3B에서 7B 파라미터에 이르는 15가지 구성과 최대 $10^{21}$ FLOPs에 달하는 예산에서 LatentLoop는 검증 NLL을 일관되게 낮추었습니다. 적합된 NLL 1.988에서 예측된 컴퓨팅 절감 효과는 일반 MoE 및 루프된 기준선 대비 각각 19.0%와 7.9%입니다. 또한 이 방법은 0-샷 및 5-샷 설정에서 모든 크기에서 아홉 개의 벤치마크 평균 점수를 개선했습니다.

이 결과는 루프된 MoE 모델에 대해 비대칭 컴퓨팅 할당이 유망한 방향임을 시사합니다. LatentLoop는 효율적인 파라미터 재사용과 비대칭 컴퓨팅을 통해 대규모 모델의 성능과 효율성을 동시에 향상시키는 새로운 접근 방식을 제시합니다.

장편 에이전트 비디오 생성은 비연속적인 요청 간에도 공간적 및 시간적 일관성을 유지하는 장면을 만들어내는 데 어려움을 겪습니다. 프롬프트나 최근 프레임을 전달하는 방식으로는 장면을 다시 보거나 이전 이벤트를 재생할 수 있는 공유 공간 프레임이나 시간 기반 기록을 제공하지 못합니다.

이에 연구진은 Any Time, Any Space (ATAS)라는 프레임워크를 제시하여 시나리오를 명시적인 위치, 카메라, 이벤트 시간 참조를 포함하는 샷 요청으로 컴파일합니다. 생성 전에 ATAS는 등록된 정적 기하학의 장면 메모리와 장면, 이벤트, 시간으로 인덱싱된 동적 관찰의 이벤트 메모리에서 관련 증거를 검색합니다.

생성 후 ATAS는 클립을 재구성하고 등록하며, 검토 및 상태 확인이 관찰을 수용할 때만 메모리를 업데이트하고 필름 전달은 메모리 수용과 독립적으로 유지됩니다. 이 방법은 네 가지 비디오 생성기 전반에 걸쳐 모든 보고된 샷 일관성 측정치를 개선하고 각 백본에 대해 가장 높은 총체적 벤치마크 점수를 달성했습니다.

또한 ATAS는 타겟 이미지 공간 재방문에서 비교된 에이전트 및 3D 안내 방법보다 우수하며, 세 가지 이벤트 포착 기준에서 선두를 차지하고 모든 여섯 가지 기준에서 가장 높은 인간 평가를 받았습니다. 비디오 결과와 코드는 프로젝트 페이지에서 확인할 수 있습니다.

언어 모델(LM)의 컴퓨팅과 성능 관계에 대한 연구가 활발해지면서, 최근에는 모델이 메모리 사용량까지 확장하도록 설계하는 것이 중요해지고 있습니다. 기존의 n-그램 임베딩 추가 방식은 전체 임베딩 테이블을 저장해야 하므로 GPU 메모리를 많이 소모하지만, 호스트 시스템의 메모리는 저렴하고 활용도가 낮다는 점을 활용하고자 합니다.

이러한 문제를 해결하기 위해 본 논문은 COUNT(Counting Offline Unlocks N-gram Transformers)를 제안합니다. COUNT는 학습된 파라미터를 추가하지 않고 n-그램 임베딩을 구축하며, 대신 사전 계산된 n-그램 카운트를 호스트 메모리에 저장하여 메모리 사용을 확장합니다. 이는 기존 방식처럼 임베딩을 처음부터 학습할 때 필요한 값비싼 GPU 메모리 대신 호스트 메모리를 활용할 수 있게 합니다.

COUNT를 활용하면 고정된 컴퓨팅 예산 내에서 10억 개의 파라미터를 가진 LM의 사전 학습 시 추가 입력 임베딩으로 사용되어 검증 손실을 개선할 수 있으며, 이는 컴퓨팅이 57% 더 많은 LM과 동일한 효과를 냅니다. 특히 GPU 메모리가 제한적일 때 COUNT를 사용하여 백본 파라미터가 GPU 메모리를 채우도록 하면 추가 학습된 n-그램 임베딩을 분리하는 것보다 더 나은 성능을 얻을 수 있습니다.

또한 COUNT는 효율성 외에도 추론 시점에 도메인별 코퍼스에서 다른 n-그램 카운트 테이블로 전환하여 추가 학습 없이 새로운 작업에 적응할 수 있게 해줍니다. 이는 모델의 유연성과 적응성을 크게 향상시키는 방법입니다.

온폴리 학습 증류(OPD)는 학생 모델이 자신의 롤아웃에 대해 교사로부터 토큰 수준의 감독을 받아 학습하는 방법입니다. 이 방법은 교사가 학생이 작성한 모든 접두사에서 올바른 답변에 도달할 수 있다고 가정합니다. 연구진은 이러한 교사의 회복 가능성(recoverability)을 다루었으며, 잘못된 롤아웃에 대해서는 교사가 학생의 오류를 인식함에도 불구하고 오류를 따라가는 현상이 발생함을 지적했습니다.

연구팀은 오류 인식을 사용하여 회복 가능성을 복원하는 CriticOPD를 제안했습니다. 이 방법은 교사가 잘못된 롤아웃에 대해 비평을 제공하여 학생이 오류를 수정하도록 허용합니다. 교사는 비평을 통해 결과물을 평가하지만, 학생은 비평 없이 수정된 결과물을 사용하여 학습을 진행합니다.

이러한 접근 방식은 오류를 인식하고 수정하는 과정을 통해 학습의 신뢰도를 높입니다. 두 Qwen3 학생 모델과 여섯 가지 수학적 추론 벤치마크에서 CriticOPD는 OPD 성능을 향상시켰으며, 특히 경쟁 문제에서 가장 큰 개선을 보였습니다.

장기 목표를 가진 에이전트는 확장된 상호작용 동안 추론, 도구 사용, 환경 피드백을 조정해야 합니다. 희소한 결과 보상으로부터 학습하려면 다양한 길이의 궤적에 가중치를 부여하고, 롤아웃이 수집되는 동안 정책을 업데이트해야 하는 과제가 있습니다.

본 연구는 Muon, 토큰 평균 손실, 절단 중요도 샘플링, 그리고 보조 길이 및 도구 오류 패널티를 결합한 단일 롤아웃 비동기 레시피를 탐구합니다. 단일 롤아웃 샘플링 방식은 동일한 문제에 대한 여러 궤적을 기다리지 않고 비동기 학습을 가능하게 합니다.

연구진은 두 가지 모델 패밀리에 걸쳐 저장소 수준의 문제 해결을 위해 최적화 선택과 레시피 구성 요소를 연구했습니다. 평가된 훈련 실행 결과는 베이스라인보다 전체 레시피를 사용할 때 더 높은 훈련 성공을 보였습니다.

에이전트 강화 학습에서 자기 증류(Self-distillation)는 다양한 방법론을 낳았지만, 기존 평가 방식에는 한계가 있습니다. 기존 연구들은 서로 다른 실험 조건에서 발표된 기준 점수를 재사용하거나, 동시대 방법들 간의 직접적인 비교를 충분히 제공하지 못하며 훈련 안정성과 계산 비용에 대한 고려가 부족합니다. 이러한 한계는 보고된 성능 향상의 실제 원인과 경쟁 방법들의 실질적인 강점 및 약점을 가리는 결과를 초래합니다.

이러한 격차를 해소하기 위해 연구진은 GRPO와 비교하여 10가지 대표적인 방법들을 ALFWorld, ScienceWorld, Search-QA, WebShop 환경에서 세 가지 모델 크기로 비교하는 벤치마크를 구축했습니다. 이 연구는 총 132회의 훈련 실행과 12,124.4 기록된 H800 GPU-시간을 포함하며, 사전 훈련된 백본과 훈련된 모든 방법들에 대해 8개의 롤아웃 시드에서 반복 평가를 수행했습니다.

평가 결과는 세 가지 핵심 사항을 제시합니다. 첫째, GRPO 대비 성능 향상은 범위가 제한적이며 어떤 방법도 모든 설정에서 일관되게 GRPO를 능가하지 못했습니다. 둘째, 강력한 최종 성능이 훈련의 불안정성을 가릴 수 있습니다. 셋째, 추가적인 훈련 비용이 반드시 더 나은 성능으로 이어지지 않는다는 것을 확인했습니다.

연구진은 이러한 벤치마크를 통해 공정하고 포괄적인 비교를 지원하고, 에이전트 훈련에서 신뢰성 있고 비용 효율적인 개선을 위한 미래 연구 방향을 제시하고자 합니다.

파운데이션 모델이 로봇 지능의 패러다임을 변화시키며, 단순한 저수준 행동 예측을 넘어 데이터 수집, 모델 훈련, 작업 계획, 실제 실행을 목표 지향적으로 조정하는 방향으로 나아가고 있습니다. 이러한 새로운 패러다임을 에이전트 로봇(agentic robots)으로 정의하며, 에이전트는 인간의 지시에 대해 추론하고, 로봇 환경과 상호작용하며, 실행 오류를 자율적으로 수정하고, 운영 전략을 동적으로 조정하는 능력을 의미합니다.

현재 이 분야는 빠르게 발전하고 있지만, 연구들이 서로 잘 연결되어 있지 않아 연구자들이 다양한 에이전트 기능을 완전한 로봇 시스템으로 결합하는 방법에 대해 일관된 시각을 갖지 못하고 있습니다. 이 논문은 기존 에이전트 로봇 연구에 대한 통합적인 개요를 제공하여 이러한 연구 간의 연결고리를 제시합니다.

연구는 로봇 정책에서 에이전트 시스템으로의 발전을 추적하며, 비전-언어-행동 모델, 월드 모델, 월드-행동 모델 등을 다룹니다. 또한 기존 연구를 모델, 데이터, 환경, 하네스라는 네 가지 기능 영역으로 분류하여 에이전트가 모델 학습과 로봇 결정에 어떻게 영향을 미치는지, 로봇 데이터를 어떻게 수집하고 관리하는지, 그리고 학습 및 평가를 위한 세계와 작업을 어떻게 구성하는지를 탐구합니다.

궁극적으로 이 연구는 에이전트 로봇에 대한 더 명확한 이해를 돕고, 이들을 더욱 유능하고, 신뢰할 수 있으며, 적응력 있게 만드는 새로운 접근 방식을 지원하는 것을 목표로 합니다.

거대 언어 모델(LLM) 기반 에이전트가 도구 사용 및 실제 작업 공간 수정을 포함하는 장기 목표(long-horizon tasks)를 수행할 때 그 성능은 모델 자체뿐만 아니라 모델을 둘러싼 하네스(harness)에 크게 의존합니다. 기존 벤치마크들은 고정된 하네스 하에서 다운스트림 작업 성공 여부를 측정하는 데 그쳐 하네스 엔지니어링 자체를 탐구하지 못하고 있습니다.

이에 연구진은 장기 하네스 엔지니어링을 직접 평가하는 두 단계 벤치마크인 Doc2Harness를 제안했습니다. 1단계에서는 빌드 모델이 고정된 빌더 하네스 내에서 작동하며 인터페이스 계약 골격과 12가지 최전선 하네스 전반의 동작을 통합한 개발 문서를 받아 격리된 컨테이너 내에 완전한 후보 하네스를 구성합니다. 2단계에서는 이 고정된 후보 하네스가 구성 환경과 분리된 컨테이너에서 각 테스트 케이스별로 실행되며 스크립트화된 모의 모델에 의해 종단 간으로 구동됩니다.

이 벤치마크는 요청, 디스크 파일, 프로세스 종료 코드, 명령어 출력이라는 네 가지 관찰 가능한 채널을 사용하여 각 테스트 케이스를 평가합니다. 19개의 최전선 모델을 대상으로 328개의 테스트 케이스에 대해 세 번의 독립적인 빌드를 평가한 결과, GPT-6 Astra가 53.05%의 최고 통과율을 달성한 반면, 가장 약한 모델은 27.44%에 머물러 약 26%p의 격차를 보였습니다.

가장 강력한 모델조차도 테스트 케이스의 거의 절반에서 실패했으며, 이러한 실패는 모듈 간에 교차 기능(cross-cutting functionality)이 어떻게 분할되는지에 집중되어 있습니다. Doc2Harness는 장기 하네스 엔지니어링을 측정하는 최초의 결정론적 벤치마크를 제공합니다.