읽을 가치가 있는 기사만, 짧고 또렷하게.

로봇의 인컨텍스트 학습(ICL)은 시각적 시연으로부터 작업을 추론하고 실행할 수 있게 하는 새로운 패러다임입니다. 하지만 시연은 행동 궤적, 객체 의미론, 조작 가능성, 공간 관계, 작업 목표 등 너무 많은 정보를 동시에 전달하기 때문에 로봇이 실제로 따라야 할 정보가 무엇인지에 대한 문제가 명확하게 정의되지 않았습니다.

본 연구는 이러한 근본적인 프롬프트 모호성을 해결하기 위해 로봇 ICL에 대한 명확한 문제 정의를 제시합니다. 이를 바탕으로 시각 프롬프트 인코더와 저비용 데이터 수집 프로토콜을 갖춘 최소주의적이고 재현 가능한 ICL 프레임워크인 SimpleICL을 개발했습니다. 이 프레임워크는 대규모 사전 학습이나 전문화된 데이터 인프라 없이도 시뮬레이션 및 실제 환경 모두에서 강력한 성능을 달성했습니다.

또한 광범위한 실험을 통해 로봇 ICL의 핵심 속성인 행동, 의미론, 구성, 조작 가능성 구별 등의 여러 특성을 밝혀냈습니다. 연구팀은 체계적이고 재현 가능한 로봇 ICL 연구를 촉진하기 위해 데이터와 훈련 파이프라인을 완전히 오픈 소스로 공개할 계획입니다. 관련 연구는 https://simpleicl.github.io/simpleicl에서 확인할 수 있습니다.

장시간 비디오 생성에서 장면의 일관된 진화와 지속적인 역동성을 유지하는 것은 세계 모델 및 게임 시뮬레이터 개발에 필수적입니다. 현재 등장하는 오토회귀(AR) 비디오 확산 모델은 장거리 생성에 적합한 틀을 제공하지만, 확장된 롤아웃에서는 종종 정지되거나 시각적 품질이 저하되는 문제가 발생합니다. 이는 짧은 비디오 감독만으로는 장시간 동안의 장면 역동성이 어떻게 발전하는지에 대한 가이드가 부족하기 때문이라고 연구진은 가정합니다.

이러한 한계를 극복하기 위해 연구진은 실제 장시간 비디오를 기반으로 하는 장거리 교사 강제(Long-Horizon Teacher Forcing, TF)를 중심으로 하는 두 단계 훈련 파이프라인인 LongTake를 도입했습니다. Long-Horizon TF는 AR 모델이 긴 실제 비디오 접두사를 조건으로 하여 나중 프레임을 예측하도록 훈련하여, 장거리 생성 중에도 역동성을 유지하고 시각적 품질을 보존하도록 설계되었습니다.

LongTake 훈련 단계는 표준 파이프라인에서 사용되는 중간 단계의 증류 과정을 생략하면서, 학생 자체 롤아웃 하에서 분포 일치 증류(DMD)를 위한 직접 초기화를 강화한다는 것을 발견했습니다. 동일한 5초 DMD 훈련 설정에서 이 초기화는 30초 롤아웃에서 동적 정도(dynamic degree)가 짧은 시간 TF 초기화보다 상당히 높으며, 평가된 기준에서 두 측정 모두에서 선행합니다.

나아가 Hybrid DMD는 이 교사를 재사용하여 자체 롤아웃의 후속 프레임에 대한 감독을 확장하면서 초기 창에 대한 양방향 공동 감독을 유지합니다. 장거리 자체 롤아웃에서 LongTake는 동적 정도와 미적 품질의 파레토 전선에 위치하며, Hybrid DMD는 30초와 60초 모두에서 평가된 방법들 중 가장 높은 동적 정도를 달성합니다.

텍스트 조건부 전신 인간-객체 상호작용(HOI) 생성은 입력 텍스트와 일치하면서도 시간적으로 정밀하게 조정된 인간의 움직임과 객체의 궤적을 합성해야 하는 복잡한 과제입니다. 기존 방법들은 인간과 객체를 별개의 궤적으로 표현하고 전역적인 인간-객체 결합을 예측하는 방식으로 접근하지만, 이 복잡하고 동적으로 변화하는 관계를 암묵적으로 학습할 경우 객체의 표류, 접촉 누락, 침투 등의 문제가 발생하기 쉽습니다.

이에 연구진은 상호작용 생성을 위한 부분 앵커 기반 모션 프레임워크인 PAMI를 제안했습니다. 이 방법은 고전적인 Hough 변환에서 영감을 받아 신체 부위 앵커들이 객체의 움직임을 투표하도록 하여 객체의 움직임을 국소화하는 핵심 아이디어를 사용합니다. PAMI는 PamiVAE를 활용하여 상호작용 잠재 공간을 학습하고, 이 부위별 투표를 집계하는 프레임별 가중치를 디코딩합니다.

PAMI는 이러한 표현을 기반으로 거친 수준에서 세밀한 수준으로 상호작용을 생성하는 계층적 구조를 구축합니다. PamiGen은 텍스트에서 거친 인간-객체 상호작용을 생성하며, PamiRefiner는 장거리 탐사 프로브와 객체 표면 근처의 세부 접촉을 해결하는 단거리 센서를 결합한 하이브리드 표면 감지 표현을 사용하여 미세한 접촉 기하학을 재귀적으로 해결합니다.

InterAct 실험 결과, PAMI는 이전 방법들보다 더 충실한 상호작용과 더 정확한 인간 상대 객체 움직임을 생성했으며, 이전 최고 수준 대비 14.5% 더 높은 접촉 회수율을 달성했습니다. 광범위한 절제 실험은 부위 앵커 투표 표현과 하이브리드 표면 감지 정제의 기여도를 입증합니다.

퓨-스텝 스트리밍 오디오-비디오 생성은 인과 모델링과 단계 증류를 모두 필요로 하지만, 표준 훈련 방식은 두 가지 맥락 관련 문제에 직면합니다. 교사 강제(Teacher forcing) 방식은 깨끗한 이력을 노이즈가 섞인 타겟과 쌍을 이루지만, 속도 예측을 통해서만 예측적 맥락 표현을 간접적으로 감독합니다. 또한, 인과 분포 일치 증류(DMD)에서 양방향 점수 모델을 직접 재사용하면 생성과 점수 매기기 맥락 사이에 불일치가 발생합니다.

이러한 문제들을 해결하기 위해 연구진은 Causal Self-Flow(CSF)와 맥락 정렬 자기회귀(context-aligned autoregressive DMD)로 구성된 두 단계 후처리 프레임워크인 Salt++를 제안했습니다. CSF는 이력은 변화시키면서 노이즈가 섞인 타겟은 고정함으로써 맥락 정보의 비대칭성을 활용합니다. 즉, 노이즈가 섞인 이력을 가진 학생 모델이 깨끗한 이력을 가진 지수 이동 평균 교사 모델의 중간 표현과 정렬되도록 하여 의미 정보를 추출하고 교차 모달 정렬을 개선합니다.

맥락 정렬 AR DMD는 생성된 분포와 참조 분포를 블록 조건부 KL 목표 하에서 일치시키기 위해 생성기 샘플링, 가짜 점수 훈련, 실제 점수 평가에 걸쳐 인과 마스크와 접두사를 공유합니다. 이 방법을 통해 Salt++는 별도의 일관성 증류 없이도 깨끗한 접두사 퓨-스텝 증류를 수행하고 생성된 이력에 적응합니다.

실제 결과, Salt++는 480p 해상도에서 동일한 4단계 인과 설정 하의 JavisBench에서 OmniForcing 대비 시각 및 모션 품질을 각각 57%와 45% 향상시켰습니다. 또한, 4단계 1664x960 생성을 위한 별도의 스케일별 후처리 단계는 7가지 보고된 지표 중 6가지에서 양방향 LTX-2를 능가했습니다.

비전-언어-행동(VLA) 정책은 로봇의 실행 동작이 명령된 동작에서 벗어날 때 종종 실패하는데, 이는 마모나 페이로드 변화와 같은 로봇의 기계적 특성과 작동 조건에서 발생하는 실행 오류 때문이다. 연구진은 이러한 실행 오류를 명령 시점에 미리 보상할 수 있는 배포 시간 적응 방법인 자기 보상 VLA(self-compensating VLA)를 제안했다. 이 방법은 태스크 보상이나 레이블 없이도 VLA가 명령된 동작과 로봇이 실행한 동작 사이의 잔차를 사용하여 온라인으로 정책을 업데이트함으로써 오류를 보정한다.

또한, 물리적 로봇만으로는 다루기 어려운 실행 조건 전반에 걸쳐 VLA의 견고성을 테스트하기 위해 통제된 시뮬레이션 벤치마크인 RoboStress를 도입했다. RoboStress는 마찰, 백래시, 순응성, 중력 보상 오류와 같은 관절 수준의 모델을 결합하여 로봇의 상태와 동작 이력에 따라 실행 오류가 달라지는 일곱 가지 배포 시나리오를 포함한다.

RoboStress 환경에서 자기 보상 VLA는 기본 정책이나 훈련 중에 견고성을 내재화한 방법보다 더 높은 평균 태스크 성공률을 달성했다. 특히 서로 다른 사용 이력을 가진 두 개의 물리적 로봇 팔에서 이 방법은 각 팔의 평균 태스크 성공률을 30퍼센트 포인트 이상 향상시켰으며, 태스크 시연에서 보지 못한 객체에 대해서도 성공률 향상이 나타났다.

구현된 에이전트들은 이제 훨씬 더 긴 작업을 수행하게 되었습니다. 긴 작업의 경우, 작업이 최종적으로 성공하거나 실패했는지 여부만 아는 것은 의미가 없으며, 그 과정에서의 단계들이 중요해집니다. 현재 진행 상황을 점수화하는 진행 보상 모델(Progress Reward Models, PRMs)은 각 단계에서 얼마나 진행했는지를 평가하며, 밀도 있는 보상, 검증 및 모니터 역할을 수행합니다. 하지만 긴 작업에서는 현재 프레임만으로는 작업이 얼마나 진행되었는지 알기 어렵습니다. 이는 진행 상황이 이전 사건에 달려 있기 때문에 발생하는 맥락 의존적 진행 추정(context-dependent progress estimation) 문제입니다.

기존의 진행 추정 벤치마크는 현재 관찰만으로 진행 상황을 읽을 수 있는 짧은 작업에 주로 초점을 맞추고 있으며, 맥락이 필요할 때 PRM이 진행 상황을 추정할 수 있는지에 대한 연구는 부족했습니다. 연구진은 이러한 격차를 해소하기 위해 120 에피소드에 걸쳐 24가지 조작 작업을 포함하는 ContextProgress-Bench를 구축했습니다. 이 벤치마크는 정보가 현재 프레임에 없지만 이전에 나타났던 상태(State Recall), 고정된 순서로 진행되는 단계(Sequence Tracking), 그리고 서로 다른 진행 상황을 보이는 유사 프레임(Recurrence Disambiguation) 세 가지 설정에서 진행 추정 능력을 평가합니다.

실험 결과, 전체 이력을 읽는 PRM조차도 진행 상황 추정에서 어려움을 겪었지만, 적절한 맥락이 제공될 경우 동일한 다섯 가지 모델의 진행 오류는 77~82% 감소했습니다. 따라서 구현된 PRM은 맥락이 없으면 진행 상황을 잃는 것이 아니라, 올바른 맥락이 없으면 진행 상황을 추정하는 데 어려움을 겪는 것입니다. 연구진은 이를 해결하기 위해 ProgressCompass라는 자율 에이전트 루프를 제안했습니다. 이 루프는 기존 PRM을 재정렬하고 현재의 범용 VLM을 사용하여 PRM이 필요로 하는 맥락을 공급합니다. 이 루프를 적용한 결과, 동일한 PRM은 진행 오류를 63% 줄이고 순위 일치도를 76% 높였습니다.

이러한 컴패스를 통해 PRM은 더 길고 복잡한 작업에서 진행 상황을 훨씬 더 잘 추정할 수 있게 되었습니다. 이는 장기 에이전트의 신뢰성과 효율성을 높이는 데 중요한 진전을 의미합니다.

에이전트가 새로운 작업에 일반화하기 위해서는 객체와 장면에 따라 다양한 조작 행동을 공유하는 재사용 가능한 기술을 습득해야 합니다. 하지만 에이전트는 자신이 알고 있는 기술만으로 계획을 세울 수 있기 때문에, 관찰된 경험으로부터 기술을 복구하는 것이 중요합니다. 이 연구는 이러한 과정을 모델링하기 위해 스트리밍 임베디드 기술 발견(Streaming Embodied Skill Discovery, SESD)이라는 프레임워크를 제안합니다.

SESD는 비디오를 순차적으로 관찰하면서 지속적인 기술 라이브러리를 유지하여 이후의 결정을 형성하는 모델입니다. 이 능력을 체계적으로 측정하기 위해 로봇 테이블 조작과 인간의 주방 활동을 다루는 비디오2스킬(Video2Skill) 벤치마크를 도입했으며, 시간 내에서 조작 이벤트를 찾고 동일한 변환을 그룹화하며 기존 기술을 재사용하거나 새로 생성하는 세 가지 핵심 능력을 테스트합니다.

다양한 비전-언어 모델(VLM)을 테스트한 결과, 많은 모델이 이벤트 그룹화에서 거의 우연 수준의 오류를 보였으며, 라이브러리 크기가 성능에 일관되게 영향을 미치지 않았습니다. 특히, 훈련된 모델은 익숙한 기술을 통합하지만 라이브러리를 확장하는 경우는 드물고, 훈련에서 보지 못한 변환은 시간상으로는 위치하지만 새로운 기술로 거의 제공되지 않는다는 한계가 드러났습니다.

이러한 연구는 기존 기술이 불충분할 때 이를 인식하는 것이 핵심 과제임을 시사합니다. 또한, 인식과 라이브러리 업데이트가 어떻게 결합되느냐에 따라 오류가 달라지는데, 일부 모델은 서로 다른 변환을 하나의 기술로 병합하는 반면, 텍스트 설명을 통해 라이브러리를 업데이트하는 모델은 반복되는 기술을 중복하는 경향을 보였습니다.

선제적 LLM 에이전트는 사용자가 요청하기 전에 유휴 컴퓨팅 자원을 유용한 지원으로 전환할 수 있지만, 올바른 작업조차도 사용자 맥락을 잘못 이해하거나 검토 비용을 발생시키고 신뢰를 훼손할 수 있습니다. 이 연구는 선제적 LLM 에이전트를 설계, 구현 및 평가하기 위한 세 가지 공동 원칙(3T)의 기초를 제안합니다. 첫 번째는 작업 능력(Task Capability)으로, 관련 요구를 예측하고 유용한 작업을 올바르게 수행하는 것이며, 두 번째는 시간 할당(Temporal Allocation)으로, 자원 가용성과 결과가 필요한 시점에 따라 컴퓨팅을 할당하는 것입니다. 세 번째는 신뢰(Trust)로, 사용자의 신뢰와 에이전트에 대한 적절한 의존성을 유지하는 것입니다.

이러한 목표들을 달성하기 위해 연구진은 작업 범위, 예측 지평, 활성화 트리거, 처리 타이밍, 개입 깊이 등 다섯 가지 차원으로 구성된 설계 공간을 연결하고, 사용자 및 환경 표현, 백본 LLM, 에이전트 하네스 등을 포함하는 상황 및 시스템 모델링을 제시합니다. 또한, 상호작용 전반에 걸친 선제적 지원의 결과를 평가하기 위해 다일(multi-day) 시나리오와 페르소나 기반 시뮬레이션 사용자 등을 포함하는 시뮬레이션 기반 평가 테스트베드인 PROACTIVITY-GYM을 제안합니다.

23가지 모델-하네스 구성에 대한 평가 결과는 3T 전반에 걸쳐 상당한 성능 격차를 드러냈으며, LLM 심사관들이 작업 능력과 신뢰를 혼동하는 경향이 있음을 보여줍니다. 특히 30명의 참가자를 대상으로 한 인간 연구는 공동 3T 최적화의 중요성을 입증했습니다. 참가자들은 결과가 정확하더라도 개입이 잘못되었을 때 신뢰가 급격히 감소하며, 지속적인 집중을 유지하기 위해 불완전하더라도 수면 시간 지원과 같은 도움을 선호한다는 것을 발견했습니다. 따라서 선제적 에이전트를 설계하고 평가할 때는 유용한 작업, 컴퓨팅 할당, 그리고 진화하는 사용자 신뢰를 공동으로 고려해야 합니다.

낮은 꼬리 위험(lower-tail) 조건부 가치위험(CVaR)을 정확하게 추정하는 것은 많은 비용이 드는 반복 계산을 필요로 합니다. 특히 확률적 워크플로우의 서로 다른 조건부 구성 요소들을 개별적으로 질의할 수 있을 때, 고정된 평가 예산을 어떻게 할당하여 고정된 정책의 CVaR을 가장 정확하게 추정할 수 있는지에 대한 문제가 제기됩니다. 연구진은 각 질의 가능한 조건부 법칙에 대해 꼬리 위험에 미치는 불확실성을 집계하는 꼬리 영향력(tail influence)을 도출했습니다.

꼬리 영향력 샘플링(Tail-Influence Sampling, TIS)은 이 영향력 규모를 파일럿 모델로부터 추정하고, 꼬리에 가장 중요한 커널에 새로운 질의를 재할당하여 효율성을 높입니다. 특히 시각적 정렬 변형(visitation-anchored) 변형은 파일럿 모델의 과소 할당을 방지합니다. TIS는 고정 차원과 양의 분위수 마진 하에서 오라클 점근 분산과 파일럿 비용을 포함한 일차 오차 제곱(MSE)을 달성하며, 정렬 변형은 오라클 값의 두 배 이내에 있습니다.

실제 적용 사례에서 TIS는 놀라운 성능을 보였습니다. CliffWalking 환경에서는 TIS가 학습된 점유율(learned occupancy) 대비 MSE를 41%, 완전 반복 계산(complete rollouts) 대비 76% 감소시켰습니다. 또한, 동결된 언어 모델 검토 워크플로우에서는 24가지 MMLU-Pro 설정 중 23가지에서 평균 영향력 혼합 방식보다 우수했으며, 여섯 번의 호출을 요구하는 FinQA 검토에서 반복 계산 대비 2.4배에서 3.4배 낮은 MSE를 달성했습니다.

도구 사용 후 훈련(tool-use post-training)을 확장하는 최근 노력은 실행 가능한 환경 합성에 주로 집중되어 왔으나, 이는 환경, 작업, 에이전트 하네스, 평가자로 구성된 전체 에이전트 상호작용 시스템의 한 부분에 불과합니다. 환경만 개별적으로 확장하는 것은 모델 성능의 동등한 향상을 보장하지 못하며, 신뢰할 수 있는 학습 신호는 에이전트 상호작용 시스템의 모든 구성 요소 간의 일관된 상호작용에 달려 있기 때문입니다.

이 문제를 해결하기 위해 연구진은 확장 가능한 에이전트 상호작용 시스템 구축, 실행 기반 자기 진화, 그리고 안정적인 후 훈련을 결합한 WEFT(Whole-system Evolution For Tool-use Post-training)를 제안했습니다. WEFT는 환경의 폭, 작업의 복잡성, 상호작용의 다양성을 아우르는 에이전트 상호작용 시스템 구축을 확장합니다. 특히 실행 기반 자기 진화는 실행 추적과 상태 증거를 반복적으로 사용하여 실패를 귀인하고 책임 있는 구성 요소를 수정하며, 새로운 롤아웃을 통해 변경 사항을 평가합니다.

안정적인 대규모 후 훈련을 위해 WEFT는 최적화와 실행 신뢰성을 모두 다룹니다. 이는 접두사 보존 샘플링을 통해 검증된 진행 상황을 유지하고, 원자적 턴에 대한 신용 할당을 통해 학습 신호를 국소화하며, MegaMCP를 사용하여 공유 도구 서비스에 걸친 동시 롤아웃에서 격리되고 복구 가능한 상태를 유지합니다.

다양한 모델과 벤치마크에 걸친 광범위한 실험 결과, WEFT는 도구 사용 후 훈련에 효과적임을 입증했습니다. WEFT-8B와 WEFT-14B는 BFCL V4, τ^2-Bench, Claw-Eval에서 평가된 모든 일치하는 크기의 환경 확장 기준선보다 우수한 성능을 보였습니다. 특히 WEFT-14B는 Agent-World-14B보다 6.41%, 2.23%, 12.27% 포인트 더 높은 성능을 달성했습니다. 또한 WEFT-35B-A3B는 Toolathlon-Verified 및 AutomationBench와 같은 더 까다로운 장기 워크플로우 벤치마크에서 이러한 이점을 더욱 확장했습니다.

본 연구는 벡터 글리프를 애니메이션하여 의미론적 개념을 표현하면서도 가독성을 유지하는 모달 키네틱 타이포그래피를 소개합니다. 이 방법의 핵심 아이디어는 글리프의 자연스러운 진동 모드로부터 움직임을 생성하는 것입니다. 구체적으로, 벡터 윤곽선에서 구성된 유한 요소 고유 문제(finite-element eigenproblem)를 통해 글리프 전체와 각 부분의 가장 부드러운 모드, 즉 휘어질 수 있는 모드를 도출합니다.

이 모달 접근 방식은 기존 작업의 두 가지 약점을 해결합니다. 이전 방법들은 노이즈가 많은 기울기(gradients)를 따라 각 점과 프레임을 독립적으로 이동시켜 윤곽선을 찢고 떨림을 유발했습니다. 반면, 본 연구의 모드는 윤곽선을 따라 부드럽고, 몇 개의 전체 주기 고조파에 의해 구동되어 이러한 기울기를 부드럽고 끊김 없는 움직임으로 제한합니다.

모달 키네틱 타이포그래피에서는 형태와 움직임이 구조적으로 분리됩니다. 단일 기본 윤곽선이 개념에 맞춰 조각되며, 모달 구동은 이를 변경할 수 없으므로 글리프를 재형성하지 않고도 애니메이션이 가능합니다. 그 결과, 본 방법은 Dynamic Typography나 AniClipart보다 더 구체적이고 부드러운 움직임을 생성하며, Dynamic Typography보다 글리프 찢김이 적습니다.

인간 평가자들은 이 방법이 개념 정렬이 비슷하거나 더 좋은 조건에서 더 나은 움직임을 제공하며, 움직임만으로 개념을 전달해야 하는 고정된 형태 설정에서도 선호했습니다. 또한 인간 평가자들은 Astra(GPT-6)보다 본 방법을 선호했습니다.

오토회귀(AR) 비디오 확산 모델은 낮은 지연 시간으로 스트리밍 비디오 생성을 가능하게 하지만, 긴 시퀀스에서 예측 오류가 누적되는 문제가 발생합니다. 생성 모델을 자체 롤아웃으로 훈련할 경우 불완전한 과거 기록에 노출되어 이러한 오류가 심화될 수 있습니다. 기존의 비디오 수준 분포 일치 증류(DMD)는 전체 롤아웃을 함께 평가하지만, 청크를 과거 및 미래와 함께 평가하기 때문에 시간적 일관성을 유지하기 위해 주변 맥락의 인공물과 일치하는 보정을 선호할 수 있다는 단점이 있습니다.

이러한 문제를 해결하기 위해 연구진은 롤아웃 마진 증류(RMD)를 제안했습니다. RMD는 AR 예측을 위한 생성된 기록을 유지하면서도 각 청크를 독립적으로 청크 교사(chunk teacher)와 비교하여 평가함으로써 불완전한 시간적 맥락으로 인한 품질 보정이 손상되는 것을 방지합니다. 이후 RMD는 독립적인 청크 평가에서 부족한 시간적 맥락을 보완하기 위해 비디오 수준 DMD를 적용하여 시간적 일관성을 복원합니다.

광범위한 실험 결과 RMD는 훈련 지평을 훨씬 넘어 높은 시각적 품질을 유지하며 비디오 수준 DMD 기준 모델보다 우수한 성능을 보였습니다. 이 방법은 시간적 일관성을 보존하면서도 시각적 품질 신호를 더 명확하게 제공하는 데 중점을 둡니다.

장시간의 복잡한 비디오에서 객체를 추적하는 기존의 온라인 비디오 분할 방법들은 장기적인 가림 현상(occlusion)이 있는 비디오에서 어려움을 겪습니다. 연구진은 이러한 한계가 시간적 전파 메커니즘이 시간 경과에 따라 전파할 객체 정보를 적응적으로 선택하지 못하고, 장시간 비디오에 대한 메모리 요구 사항과 기울기 소실 문제로 인해 장시간 학습이 불가능하기 때문이라고 가정했습니다.

이러한 문제를 해결하기 위해 연구진은 두 가지 방법을 제안했습니다. 첫째, 시간적 전파 모듈에 대해 메모리에 보관하고 시간 경과에 따라 전파할 정보를 학습할 수 있는 경량의 GRU 기반 시간 전파 모듈을 사용합니다. 둘째, 장시간 비디오 학습을 허용하기 위해 Truncated Query Propagation(TQP)이라는 학습 전략을 도입했습니다. TQP는 비디오를 프레임 덩어리(chunks)로 처리하고 객체 정보는 덩어리 간에 전파하되 역전파는 개별 덩어리에서만 수행하여 메모리 문제나 기울기 소실 없이 더 긴 시간적 감독을 가능하게 합니다.

이러한 접근 방식을 통해 개발된 모델은 Long-term Video Mask Transformer(LVMT)로 명명되었습니다. LVMT는 여섯 가지 벤치마크에서 새로운 최고 성능을 달성하면서도 기반 모델의 효율성을 유지하며 기존 최고 성능보다 10배 빠른 속도를 제공합니다. 이 연구는 장기 비디오 분할 작업에서 효율성과 정확성을 동시에 달성하고자 하는 개발자들에게 중요한 성능 개선 방안을 제시합니다.

실시간 상호작용 세계 모델인 HelixWorld는 시각과 음향 역학이 실시간으로 동기화되어야 하는 멀티센서 환경을 다룹니다. 기존의 상호작용 세계 모델들은 시각 렌더링과 제어에만 집중하여 음향 차원을 간과했지만, HelixWorld는 사용자의 상호작용 하에서 시각 장면과 카메라 기반 공간 스테레오 사운드가 자연스럽게 공진화하는 실시간 오디오-비주얼 모델을 제시합니다.

이 모델을 구현하기 위해 고충실도의 공간 오디오-비주얼 데이터셋을 구축했으며, 여기에 실제 스테레오 음향과 정밀한 카메라 자세를 포함시켰습니다. 이 데이터셋을 기반으로 6-DoF 카메라 궤적과 사용자 행동에 조건화된 양방향 교사 모델을 사전 학습시켰습니다.

저지연 인과적 상호작용을 가능하게 하기 위해 교사 모델을 온라인 궤적 증류 손실을 통해 몇 단계 스트리밍 학생으로 압축하여 구현했습니다. 이를 통해 단일 GPU에서 24 FPS로 드리프트 없는 공동 오디오-비주얼 롤아웃을 유지할 수 있습니다.

또한, 본 연구는 공간-음향 일관성을 공식화하고 합성된 사운드 필드가 동적 시점 움직임을 정확하게 추적하는지 평가하기 위해 HelixBench를 도입했습니다. 실험 결과, HelixWorld는 시각적 충실도와 반응성 면에서 최첨단 무음 세계 모델과 일치하며, 카메라 정렬 공간-음향 몰입감 측면에서 기존 기준선을 크게 능가하는 것으로 나타났습니다.

비전-언어-행동(VLA) 모델이 로봇 조작을 발전시켰지만, 새로운 작업과 환경에서의 제로샷 일반화 능력은 여전히 제한적이며 전문적인 훈련에 의존한다는 한계가 있습니다. 최근 에이전트 기반 로봇 시스템은 VLM을 고수준 추론이나 코딩 에이전트 제어에 활용하지만, 외부 모델과 도구에 의존하여 복잡성과 비용이 증가하는 문제가 있습니다. 이러한 한계를 극복하기 위해 일반 목적의 VLM이 외부 모델 없이 관찰로부터 직접 추론하고 실행 피드백에 지속적으로 적응하며 인간 원격 조작자와 유사하게 로봇을 작동할 수 있는지에 대한 질문이 제기되었습니다.

이 논문은 이러한 질문에 답하기 위해 MotorMind라는 로봇 조작 하네스를 소개합니다. MotorMind는 VLM이 제안한 중간 수준의 행동을 결정론적인 로봇 제어 및 피드백에 연결하며, 비동기 모니터링과 백그라운드 메모리 업데이트 기능을 제공합니다. 이 시스템은 작업별 정책 훈련이나 SAM3과 같은 추가적인 접지 도구 없이도 효과적인 제로샷 로봇 조작을 달성했습니다.

실험 결과, MotorMind는 기본 LIBERO-PRO 스위트에서 66.7%의 성공률과 외부 교란 하에서 53.8%의 성공률을 기록했으며, 이는 기존 제로샷 방법들의 최대 13.3% 및 19.2%보다 훨씬 높은 수치입니다. 또한, 실제 xArm6 로봇에 대해서는 직접 조작 및 인간 교란 설정 모두에서 평균 95%의 성공률을 달성했습니다.

VLM의 백본을 더 강력한 모델로 대체했을 때 성능이 더욱 향상되었으며, 시각적 접지, 체화된 추론, 행동 지식과 같은 나머지 실패 요인들은 VLM의 능력이 향상됨에 따라 감소했습니다. 이는 일반 목적의 VLM이 적절한 중간 수준 행동 표현과 비동기 실행 하네스를 갖추면 효과적인 제로샷 로봇 조작을 수행할 수 있음을 보여줍니다.

순환 신경망(RNN)은 역사적 문맥을 고정된 크기의 메모리 상태로 압축하여 상수 시간 추론을 가능하게 합니다. 그러나 메모리 상태의 크기는 성능에 중요한 요소이며, 이는 일반적인 RNN의 벡터 값 은닉 상태를 행렬 값 은닉 상태로 확장하는 선형 어텐션의 강력한 성능과 부활로 잘 나타납니다. 선형 어텐션은 키와 값 벡터의 외적을 사용하여 행렬 값 은닉 상태에 쓰는 방식으로 이 작업을 매개변수 효율적으로 수행합니다.

이 연구는 이러한 구조를 일반화하여 삼중 선형 어텐션(triadic linear attention)을 제안합니다. 이는 키, 두 번째 키, 값의 삼중 외적을 세 번째 차원(3D) 텐서 상태에 기록하고 두 개의 쿼리로 키 축을 축소하여 읽는 방식으로 작동합니다. 특히 E차원의 두 번째 키를 사용하면 상태 크기가 E배 증가하면서도 단지 두 개의 투영만 추가됩니다.

삼중 선형 어텐션은 데이터 의존적 망각, 델타 규칙, 청크별 병렬 훈련과 호환됩니다. 이 방법은 Gated DeltaNet 및 스칼라 게이팅 선형 어텐션에 적용되었을 때 장문 문맥 모델링과 검색 능력을 실질적으로 향상시키며, 상태를 확장하는 다른 대안들보다 우수한 성능을 보였습니다.

온폴리 정책 기반 후처리(on-policy post-training) 방법이 강력한 일반화 성능을 보였기 때문에, 이들의 파라미터 업데이트 행동에 대한 연구가 진행되었습니다. 그러나 기존 연구들은 이러한 행동을 온폴리 훈련의 부산물로만 간주하여, 지도 미세 조정(SFT)과 같은 다른 패러다임의 일반화를 개선하기 위한 최적화 원리로 활용할 잠재력을 간과했습니다.

연구진은 SFT가 일관된 방향으로 파라미터를 업데이트하는 반면, 온폴리 패러다임은 훈련 중에 방향을 지속적으로 조정한다는 차이를 발견했습니다. 이 차이를 바탕으로 각 파라미터의 누적 업데이트 방향을 유망한 행동으로 설정하고 이를 활용하고자 했습니다. 이를 위해 온폴리 패러다임에서 식별된 방향을 제약 조건으로 사용하여 SFT 업데이트를 제한하는 온폴리 방향 제약 지도 미세 조정(On-Policy direction-constrained Supervised Fine-Tuning, OPSFT)을 제안했습니다.

OPSFT의 강력한 성능은 온폴리 패러다임의 일반화 이점을 파라미터 업데이트 방향을 통해 SFT로 전이할 수 있음을 시사합니다. 이는 효율성과 고품질 궤적 활용이라는 SFT의 장점을 결합하는 실질적인 이점을 제공합니다. 효율성 측면에서는 소수의 온폴리 훈련 단계로 강력한 일반화를 지원하는 업데이트 방향을 식별한 후 OPSFT를 적용하여 높은 훈련 효율성을 달성할 수 있습니다. 또한, OPSFT는 온폴리 훈련에서 학습된 능력을 방해하지 않으면서도 해당 궤적을 활용하여 업데이트 방향을 따라 모델을 지속적으로 개선할 수 있습니다.

장기적인 사용자에게 서비스를 제공하는 AI 어시스턴트는 사용자가 밝힌 선호도, 수정된 내용, 현재 적용되는 제약 조건을 기억해야 합니다. 이러한 정보를 보존하는 것과 실제로 행동하는 것은 다르며, 두 가지 모두 최적화되어야 합니다. 텍스트로 정보를 유지하면 기록이 늘어나고, 잠재 벡터로 압축하면 인터페이스는 제한되지만 일반적으로 텍스트를 재구성하거나 참조 답변을 모방하도록 훈련되어 사용자가 생성하지 않은 시퀀스에 대해 평가됩니다.

본 논문은 이러한 문제를 해결하기 위해 MemFold를 제안하며, 이는 지원하는 행동에 따라 고정된 예산의 소프트 메모리를 최적화합니다. 질의 조건부 텍스트 메모리를 K개의 연속 벡터로 압축하여 사용자의 메모리 인터페이스를 형성하고, 사용자는 그룹 상대 보상(task outcomes)과 신뢰도 기반 온-폴리 정책 증류(confidence-gated on-policy distillation)라는 두 가지 상호 보완적인 신호를 통해 자체 롤아웃에서 훈련됩니다.

세 가지 Qwen 백본 모델에서 MemFold는 PersonaMem-32K 및 PersonaMem-128K에서 측정된 가장 높은 정확도를 달성했으며, 기록 길이가 길어질수록 그 차이가 벌어집니다. 또한 목표 도메인 훈련 없이도 PrefEval 및 LongMemEval로 전이될 수 있습니다. 실험 결과, 작업 성과의 대부분은 보상 항에서 비롯되었으며, 교사 신호는 추가적인 이득을 제공하지 않았습니다. 메모리 개입 분석 결과, 사용자는 소프트 메모리의 인스턴스별 콘텐츠에 의존한다는 점이 확인되었습니다.

사전 학습된 트랜스포머 모델은 문맥상의 참조를 따르기 위해 깊이의 일부만을 사용한다는 연구 결과가 나왔습니다. 13개의 기본 모델은 1.4~3.6줄만 신뢰성 있게 따르며 추가적인 사전 학습 루프는 큰 개선을 가져오지 않습니다. 이러한 한계를 극복하기 위해 초기 레이어에 적용된 태스크 학습형 랭크-8 LoRA를 사용하여 모델 가중치를 모두 고정하면서 계산을 확장할 수 있습니다.

이러한 접근 방식은 구체적인 성능 향상을 입증했습니다. Qwen3-8B 모델은 24줄 체인에서 정확도를 15.5%에서 99%로 개선했으며, 더 긴 학습된 LoRA는 50줄까지 도달했습니다. 또한 Ouro-1.4B 모델은 네 번의 루프 후 60줄, 여덟 번의 루프 후 최소 160줄까지 계산 능력을 확장했습니다.

LoRA는 프로그램 라인이 체인 정체성을 여러 중간 레이어를 통해 전달하는 중계 역할을 하며, 고정된 헤드는 체인 상단으로 점진적으로 읽어 나갑니다. 이 중계 메커니즘에서 부모 라인 어텐션을 제거하면 중계가 멈추는 것을 확인할 수 있습니다. 연구 결과에 따르면, 고정된 모델 측정은 네 개의 홀드아웃 모델 중 세 모델에서 허용 오차 내에 마지막 유용한 개입 레이어를 찾아냈습니다.

결과적으로 태스크별 LoRA는 MuSiQue 성능을 개선하며, 기본 답변은 작은 편집을 통해 접근 가능한 계산을 과소평가한다는 것을 보여줍니다. 관련 코드와 대화형 데모는 https://lunamos.github.io/stop-thinking-too-early/에서 확인할 수 있습니다.

코딩 에이전트가 순수 디지털 작업을 넘어 로보틱스와 같은 물리적 세계의 문제에 도전하기 시작하면서 새로운 평가 기준이 필요해졌습니다. 기존의 로보틱스 벤치마크들은 정책이나 컨트롤러와 같은 개별 결과물의 성능에 주로 초점을 맞추고 있어, 코딩 에이전트가 갖는 광범위한 엔지니어링 능력을 충분히 평가하지 못하고 있습니다.

실제 로보틱스 환경에서는 에이전트가 자원 제약 하에서 이질적인 결과물을 구축하고, 통합하며, 진단하고 개선해야 하며 멀티모달 피드백으로부터 추론해야 하는 복잡한 과제가 요구됩니다. 이러한 광범위한 능력을 평가하기 위해 연구진은 로봇 학습 작업의 네 가지 대표적인 개발 워크플로우를 포괄하는 RLE-Bench라는 벤치마크를 소개했습니다.

RLE-Bench는 상호 제어, 정책 학습, 지각 및 추정, 기계 설계라는 네 가지 워크플로우를 다루며, 에이전트가 제출한 결과물에 대해 성공률, 학습된 정책, 구축된 하네스, 설계된 기계 구조 등 다양한 작업별 측정 지표를 사용합니다. 이 지표들을 종합하여 전체 RLE 지수와 워크플로우별 역량 프로필을 보고함으로써 코딩 에이전트의 능력을 다차원적으로 체계적으로 비교할 수 있게 됩니다.

또한 연구진은 성능 순위 외에도 대표적인 작업에 대한 에이전트의 행동을 조사하는 심층 사례 연구를 수행하여 현재 능력과 한계를 모두 강조했습니다. 이는 로보틱스 작업이 향후 에이전트 훈련에 제공할 수 있는 기회를 제시하며, 에이전트의 잠재력을 더 깊이 이해하는 데 중요한 맥락을 제공합니다.