읽을 가치가 있는 기사만, 짧고 또렷하게.

픽셀 확산 모델은 오토인코더의 병목 현상을 피하면서도 미세한 자연 이미지 통계(고주파 성분)를 체계적으로 부족하게 생성하는 문제가 있습니다. 연구진은 적대적 학습(adversarial learning)이 이러한 결함을 보정하는 효과적인 후처리 방법이 될 수 있음을 제시합니다.

이 방법은 사전 학습된 모델의 원래 확산 또는 흐름 일치 목표를 유지한 채, 비고잡음 시간 단계에서 예측된 출력에 적대적 손실을 추가하여 모델 구조와 샘플링 절차를 변경하지 않고 보정합니다. 이는 픽셀 확산에 대한 적대적 후처리에 대한 최초의 체계적인 연구이며, 두 가지 픽셀 백본에서 이 방법이 분포 충실도, 커버리지, 프롬프트 정렬, 지각적 품질을 공동으로 개선함을 보여줍니다.

분석 결과, 적대적 후처리는 원래 모델이 부족하게 생성하는 자연 이미지의 고주파 콘텐츠를 복원하여 스펙트럼 파워를 회복시킵니다. 그러나 지각적 손실(perceptual loss)은 분포 충실도와 프롬프트 정렬을 희생시키며 고주파 콘텐츠를 증가시키는 상반된 효과를 보였습니다.

또한, 단순한 설명(기억, 모드 드롭 등)을 배제하기 위해 근접 이웃, 재현율, 매치드 no-GAN SFT 등의 통제를 추가로 수행했습니다. 최종적으로, 이 효과의 경계를 조사한 결과, 특정 잠재 확산 구성 하에서는 동일한 절차가 비교 가능한 공동 이득을 내지 못하며 고주파 파워를 거의 추가하지 못한다는 사실이 밝혀졌습니다. 이는 적대적 후처리가 성공하는지 여부를 결정하는 핵심 요인이 보정되는 이미지 통계에 대한 직접적인 출력 접근임을 시사합니다.

장문의 비디오 이해를 위해서는 멀티모달 에이전트가 많은 추론 단계에 걸쳐 증거를 반복적으로 수집해야 합니다. 그러나 기존의 에이전트 방법들은 '의미적 소용돌이(semantic thrashing)'라는 문제에 직면하는데, 이는 추가만 가능한 작업 기억(append-only working memory)이 커지면서 핵심 증거에 대한 주의력이 약화되고 에이전트가 이미 찾은 정보에 대한 접근성을 잃는 현상을 의미합니다.

연구진은 추가만 가능한 메모리가 새로운 관찰된 증거를 통합할 수는 있지만, 누적된 노이즈를 제거하거나 순차적인 컨텍스트 성장을 막기 위해서는 재작성 연산자(rewrite operator)가 필요하다는 구조적 주장을 제시했습니다. 이를 바탕으로 연구팀은 두 개의 결합된 루프를 가진 멀티모달 에이전트인 VideoLoop를 제안했습니다. 이 에이전트는 각 단계 후 무한한 과거 관찰 및 중간 분석의 아티팩트에서 정보를 검색하고 경계가 있는 작업 기억을 재작성함으로써 의미적 소용돌이를 완화합니다.

실험 결과, VideoLoop는 네 가지 인기 있는 LVLM 백본(backbones)을 플러그 앤 플레이 방식으로 개선했으며, VideoMME (long)에서 기준선 대비 평균 4.2% 포인트의 성능 향상을 보였습니다. 특히 작업 기억 분석 결과, VideoLoop는 의미적 소용돌이를 완화하여 VideoMME (long) 질문 중 가장 어려운 4분의 1에 대해 에이전트의 컨텍스트만 읽는 블라인드 심사관이 81.1%의 정확도로 답하는 반면, 추가만 에이전트는 60.9%에 그쳤습니다. Gemini 3.1 Pro를 사용했을 때 VideoLoop는 VideoMME (long)에서 88.3%, VideoMMMU에서 88.8%, 그리고 LongVideoBench (long)에서 80.9%의 성능을 달성했습니다.

실제 로봇 학습은 경험 수집과 행동 예측 평가 비용 때문에 제약이 따릅니다. 기존의 비디오 생성 모델 기반 시뮬레이터는 시각적 그럴듯함에 중점을 두는 반면, 행동 조건부 시뮬레이터는 서로 다른 제어 공간을 가진 데이터 공유의 어려움 때문에 희소한 신체 특정 데이터를 필요로 합니다.

이에 연구진은 이질적인 행동 접지(action grounding)로부터 전이 가능한 역학 학습을 분리하는 행동 주도 시각 시뮬레이터인 WorldLine을 소개합니다. WorldLine은 10,000시간 이상의 행동 없는 로봇 비디오에서 조작 역학을 학습하고 10개 이상의 신체(embodiment)에 걸친 2,000시간 이상의 행동 궤적을 사용하여 이를 접지합니다.

이 모델은 신체에 구애받지 않는 이미지 공간 행동 표현을 통해 다양한 신체 간에 공유되는 제어 인터페이스를 제공하며, 다중 뷰 및 실패 정보를 포함한 훈련을 통해 상호작용 민감한 예측을 개선합니다. 결과적으로 WorldLine은 정책 평가와 체화 계획을 위한 확장 가능하고 효율적인 시각 시뮬레이터가 됩니다.

실제 실험에서 WorldLine은 RoboTwin 및 AgiBot에 대해 74%의 평균 정확도로 궤적 성공을 예측하며, 이는 가장 강력한 기준선보다 1% 포인트 높은 수치입니다. 또한, RoboTwin 훈련이나 적응 없이도 롤아웃이 직접 정책 실행보다 작업 성공률을 최대 21.4% 포인트 향상시킵니다.

로봇 학습에서 추가적인 전문가 시연 없이 새로운 작업에 대한 정책을 개선하는 것은 여전히 핵심적인 과제입니다. 세계 행동 모델(WAM)은 광범위한 비디오 사전 지식을 사용하여 미래의 비디오와 행동을 공동 예측함으로써 새로운 작업에 적응하기 위한 잠재적인 감독 소스를 제공합니다. 하지만 생성된 비디오는 작업 완료를 제대로 묘사하지 못하거나 시각적으로 성공적일지라도 일관성 없는 행동과 결합되어 실행 실패로 이어질 수 있습니다.

이에 연구진은 외부 환경에서 후보 행동을 실행하지 않고 자체적으로 생성한 비디오-행동 궤적을 학습하여 WAM을 보지 못한 작업에 적응시키는 프레임워크인 EVO-WAM을 제안합니다. 이 방법은 첫째, 외부 실행 피드백 없이 완전한 자기회귀 롤아웃을 가능하게 하기 위해 상태 예측과 앵커 멀티프레임 컨텍스트를 통해 WAM 훈련을 보강합니다. 둘째, 비전-언어 모델을 사용하여 작업 완료 접두사를 식별하고 역동학 모델로 비디오-행동 일관성을 검증함으로써 신뢰할 수 있는 훈련 경험을 식별합니다.

이러한 과정을 통해 EVO-WAM은 7가지 보지 못한 RoboTwin 2.0 작업에서 Cosmos3의 평균 성공률을 26.9%에서 68.0%로, DreamZero의 성공률을 28.5%에서 46.4%로 증가시켰습니다. 또한, 세 가지 보지 못한 장기 복합 실제 작업에서 Cosmos3의 평균 성공률을 20.0%에서 76.7%로 개선하여 56.7% 포인트의 향상을 달성했습니다. 이 결과는 새로운 환경에서 로봇 정책을 학습하고 일반화하는 데 있어 WAM의 잠재력을 크게 높여줍니다.

컴퓨터 사용 에이전트(CUA)는 디지털 작업을 완료하는 데 강력한 능력을 보여주지만, 기존 모델들은 주로 비효율적이거나 오류가 발생하기 쉬운 GUI 상호작용에 의존하거나, 애플리케이션별 API나 도구를 추가하여 막대한 엔지니어링 노력이 필요한 한계를 가지고 있습니다. 연구진은 차세대 CUA는 GUI의 일반성과 셸 명령어의 효율성을 결합하는 하이브리드 GUI 및 CLI 패러다임을 사용해야 한다고 주장합니다.

이러한 접근 방식을 구현하기 위해 모델이 작업 실행 중 언제, 어떻게 CLI를 사용해야 하는지 알 수 없다는 문제를 해결하고자 데이터 구성 파이프라인을 개발했습니다. 이 파이프라인은 GUI만 사용한 궤적, CLI만 사용한 궤적, 그리고 GUI와 CLI가 혼합된 궤적 세 가지 유형을 생성하며, 이를 통해 5천 개의 하이브리드 궤적과 3천 개의 검증된 강화 학습(RLVR) 작업을 포함하는 HybridCUA-8K 데이터셋을 구축했습니다.

이 데이터셋을 기반으로 두 단계의 훈련 프레임워크를 제안했는데, 첫 단계는 구성된 궤적에 대한 지도 미세 조정이고, 다음 단계는 에이전트가 CLI를 선택적이고 안정적으로 사용하도록 장려하는 CLI 인식 보상을 사용한 강화 학습입니다. 실험 결과, HybridCUA-9B는 OSWorld에서 53.6%의 정확도를 달성하며 기본 모델보다 14.8%p 향상되었고, WindowsAgentArena에서는 4.0%p 성능 향상을 보였습니다.

이러한 결과는 하이브리드 GUI와 CLI 패러다임이 컴퓨터 사용 에이전트에게 효과적이며 플랫폼 간 일반화가 가능하다는 것을 입증합니다. 이는 CUA의 효율성과 범용성을 크게 향상시킬 수 있는 새로운 방법론을 제시합니다.

테이블 형태의 머신러닝은 일반적으로 각 데이터셋별 워크플로우에 의존하여 각 작업마다 트리 앙상블을 적합시키거나 AutoML 검색을 처음부터 실행하는 방식을 사용합니다. 이에 TabFM은 지도 학습 테이블 예측을 인컨텍스트 학습으로 공식화한 400M 파라미터의 테이블 파운데이션 모델을 제시합니다. TabFM은 작업별 튜닝 없이 단일 순방향 패스에서 보정된 제로샷 예측을 생성하며, 구조적 인과 모델에서 생성된 합성 테이블로만 훈련되어 실제 세계 작업으로 제로샷 능력을 전이시키는 일반적인 테이블 표현을 학습합니다.

TabArena의 51개 벤치마크 데이터셋(38개 분류 및 13개 회귀) 전반에서 제로샷 TabFM은 기본 테이블 파운데이션 모델 중 첫 번째 순위를 차지하며 튜닝된 AutoML 파이프라인보다 우수한 성능을 보였습니다. 이러한 성능 향상은 TabFM이 일반적인 테이블 학습 방법보다 더 효율적이고 강력한 일반화 능력을 제공함을 의미합니다.

또한, 동일한 고정 가중치 위에서 성능을 더욱 개선하는 두 가지 확장 기능이 제안되었습니다. 하나는 다중 뷰 특징 확장과 앙상블을 통한 사후 보정(TabFM+)이며, 다른 하나는 LLM 기반의 데이터셋별 데이터 처리 및 특징 공학(TabFM-Auto)입니다. 이 확장 기능들은 모델의 성능을 실질적으로 향상시키면서도 개발자가 복잡한 데이터 전처리 과정을 직접 수행할 필요 없이 강력한 테이블 예측 능력을 활용할 수 있도록 돕습니다.

강화 학습과 검증 가능한 보상(RLVR) 방법인 GRPO는 성공적인 자체 생성 궤적에 의존하지만, 제한된 롤아웃 예산으로 인해 보상 기반 정책 경사 신호가 없는 모든 실패 그룹이 발생할 수 있습니다. 추가 롤아웃은 성공 확률을 높이지만, 한 모델의 롤아웃에서 누락된 성공적인 궤적은 다른 모델에 의해 이미 발견되었을 가능성이 있습니다. 실제로 이질적인 모델들은 상호 보완적인 프롬프트에서 성공하는 경향이 있어 지정된 더 강한 교사 없이도 상호 학습의 기회를 제공합니다.

이러한 상호 보완성을 활용하기 위해 연구진은 모든 실패 그룹을 정보가 풍부한 동료 그룹으로 대체하는 오프-폴리시 인식 프레임워크인 GRAFT(Gated Replacement of Answer-Failed groups with peer Trajectories)를 제안했습니다. GRAFT는 동료가 계산한 이점을 사용하여 성공적인 응답과 실패한 응답을 모두 전달하며, 시퀀스 수준 호환성 가중치와 토큰 수준 중요도 비율 클리핑을 통해 모델 간 불일치를 제어합니다.

세 가지 이질적인 모델 쌍과 다섯 가지 수학적 추론 벤치마크에서 GRAFT는 동일한 모델별 롤아웃 예산 내에서 GRPO보다 두 모델 모두를 일관되게 개선했습니다. GRAFT는 평균 2.1점, 모델 수준 평균 성능에서 최대 4.5점의 향상을 달성했습니다. 또한 저장된 동료 궤적은 동시 공동 훈련 없이도 GRPO 대비 평균 1.8점의 성능 향상을 보존했습니다.

세계 행동 모델(WAMs)은 훈련 과정에서 행동과 함께 미래를 예측합니다. 비디오 디노이징의 높은 계산 비용 때문에 추론 시 미래를 반드시 생성해야 하는지에 대한 논쟁이 있습니다. 명시적 WAMs는 모든 행동 청크에 대해 미래를 깨끗한 프레임으로 디노이징하는 반면, 잠재적 WAMs는 가속화를 위해 미래를 완전히 버립니다.

연구 결과, 잠재적 WAMs는 분포 내 작업에서 명시적 모델과 일치함에도 불구하고 WAMs가 원래 추구했던 일반화 이점을 유지하지 못하는 것으로 나타났습니다. 환경 교란, 데이터 효율성, 작업 일반화라는 세 가지 축을 따라 일반화를 평가했을 때, 행동 전문가가 미래 표현에 더 이상 조건화하지 않을 경우 세 가지 축 모두에서 일관된 성능 저하가 관찰되었습니다.

이러한 격차는 주로 첫 번째 디노이징 단계에서 발생하며, 이 이점은 미래를 생성하는 것이 아니라 미래를 준비하는 데서 비롯된다는 분석이 나왔습니다. 이에 연구진은 미래 모델링을 완전히 노이즈 처리된 비디오 토큰의 단일 순방향 통과로 단순화하고 추론 행동에 맞게 훈련 시간 노이즈 스케줄을 조정하는 Simple-WAM을 제안했습니다.

Simple-WAM은 시뮬레이션 및 실제 작업에서 잠재적 WAMs와 비슷한 효율성을 가지면서도 명시적 WAMs의 일반화 성능을 달성하여 양쪽의 장점을 모두 제공합니다.

학습된 시각 표현은 이미지 생성에 사용될 수 있지만, 충실한 재구성에 필요한 미세한 세부 사항을 완전히 보존하지 못하는 한계가 있습니다. 중간 인코더 레이어에는 보완적인 시각적 세부 사항이 포함되어 있지만, 이를 융합하여 재구성하는 과정에서 모델링하기 어려운 잠재 분포가 발생합니다. 기존의 융합 방법들은 레이어 선택이나 융합 및 디코딩의 단계적 최적화를 위해 경험적인 튜닝이 필요하여 설정 노력이나 훈련 복잡도를 증가시킵니다.

이에 연구진은 전체 인코더 계층에 걸쳐 계층적 융합 프레임워크를 학습하는 HiRAE(Hierarchical Representation Autoencoder)를 제안합니다. HiRAE는 인코더 레이어를 깊이에 따라 그룹화하고 가장 깊은 표현에 대한 잔차 보정을 학습하여 재구성 충실도를 개선하면서 생성 모델과의 호환성을 유지합니다. 이 방법은 그룹별 노름 제한을 통해 깊은 기준점 대비 보정치를 제한하며, 얕은 그룹에는 더 엄격한 예산을 적용합니다.

HiRAE-24는 잠재 토큰 수와 채널 차원을 보존하면서 ImageNet-256 데이터셋에서 재구성 FID를 RAEv2 대비 0.299에서 0.209로 감소시켰으며 경쟁력 있는 가이드 생성 품질을 유지했습니다. 또한 텍스트-투-이미지 생성의 경우, HiRAE-24는 지도 미세 조정 전후 모두에서 GenEval, DPG-Bench, GenAI-Bench에서 RAEv2 대비 정렬을 개선했습니다. 미세 조정 후 GenEval 점수는 84.86에서 87.70으로 증가했습니다.

시각 콘텐츠를 생성하는 모델을 훈련하는 것은 기하학, 공간 관계, 객체성과 관련된 풍부한 지각 능력을 학습하게 하지만, 시각 이해에 미치는 이점은 여전히 불분명합니다. 연구진은 시각 생성 감독이 시각 이해를 언제, 어떻게 개선하는지 질문하며, 동일한 근본 문제를 다른 출력 양식에서 표현하는 이미지-투-이미지(I2I) 생성과 이미지-투-텍스트(I2T) 이해 작업을 연구했습니다.

연구 결과, 올바른 방식으로 훈련할 경우 I2I 훈련이 다운스트림 I2T 성능을 향상시키며, I2I 훈련 데이터의 양이 증가할수록 이 이득이 커집니다. 다음으로 어떤 생성 작업이 어떤 이해 능력에 이점을 주는지 탐구하기 위해, 연구진은 19개의 I2I 생성 작업과 25개의 I2T 이해 능력을 포괄하는 통합 분류 체계인 OmniTaskonomy를 도입했습니다.

이 결과를 통해 얻은 전이 맵은 선택적이고 작업 의존적인 이점을 보여줍니다. 일부 결과는 직관적인 대응을 따르는데, 예를 들어 깊이 예측이 측정 3차원 추론을 개선하고, 객체 가리키기가 카운팅을 개선하며, 퍼즐 재구성이 2차원 순서를 개선하는 경우입니다. 또한 2.5차원 분할이 범주 인식을 개선하고 Z-깊이 예측이 위치 파악을 개선하는 놀라운 연결점도 발견되었습니다.

이러한 패턴을 탐구하기 위해 생성 작업과 이해 작업 간의 기울기 정렬을 분석한 결과, 정렬이 강할수록 다운스트림 전이 이득이 커진다는 것을 확인했습니다. 이는 시각 생성이 시각 이해를 위한 풍부한 감독 소스이며, 올바른 훈련 커리큘럼과 작업 선택을 통해 그 이점을 잠금 해제할 수 있는 로드맵을 제공한다는 것을 시사합니다.

다중 턴 에이전트를 온-폴리 학습 증류(OPD)를 통해 훈련할 때, 표준 생각-행동(think-then-act) 롤아웃 방식은 각 짧은 행동 전에 긴 추론 과정을 요구하여 환경 전환과 경험 수집을 지연시킵니다. 이러한 지연은 환경 상호작용을 직접 생성하는 방식이 더 빠르지만 롤아웃 품질을 저하시킬 수 있다는 문제점을 야기합니다.

이에 연구진은 환경 상호작용과 전체 응답 생성을 분리하는 액트퍼스트-리슨레이터(ActFirst-OPD)라는 새로운 훈련 프레임워크를 제안합니다. 이 방법은 현재 상호작용 맥락과 참조 다음 관측값을 사용하여 참조 조건화 역동학(reference-conditioned inverse dynamics)을 통해 행동을 추론하고 실행하며, 결과가 참조 궤적에서 벗어날 때 자율적인 다음 행동 예측으로 전환합니다.

수집된 상호작용 맥락을 바탕으로 학생 모델은 토큰 수준의 교사 감독을 위해 전체 생각-행동 응답을 비동기적으로 생성합니다. 0.6B, 1.7B, 4B 매개변수를 가진 Qwen3 학생 모델에 대한 실험 결과, ActFirst-OPD는 Vanilla OPD 대비 ALFWorld에서 평균 2.3배, WebShop에서 1.8배, ScienceWorld에서 4.9배의 벽시계 훈련 속도 향상을 달성했습니다.

또한, 이 방법은 8개 모델 설정 중 8개에서 평균 작업 성공률 면에서 비교된 모든 OPD 기준선보다 우수하거나 동등한 결과를 보였습니다. 이는 다중 턴 에이전트 증류 과정에서 추론이 행동을 막을 필요가 없음을 입증하며, 학습 속도와 성능을 동시에 개선할 수 있음을 보여줍니다.

온폴리 학습 증류(OPD)는 학생이 자체 생성한 궤적을 학습하여 훈련-테스트 상태 불일치를 줄이지만, 약한 학생들은 감독이 덜 대표적인 교사와 불일치하는 접두사(prefix)를 방문할 수 있다는 문제가 있습니다. 이 문제를 해결하기 위해 SAKI(Supervision Allocation with KL-constrained Interpolation)라는 방법을 제안합니다. SAKI는 KL 제약 조건이 있는 교사 안내 롤아웃과 최대 결합(maximal coupling)을 결합하고, 실현된 수락/수정 이벤트를 재사용하여 토큰 수준의 감독을 경로 설정합니다.

SAKI는 수락된 위치에는 샘플링된 토큰 역-KL 감독을 유지하고, 수정된 위치에는 교사의 가장 확률 높은 토큰에 대한 직접적인 감독을 제공합니다. 최대 결합 하에서 수정 확률은 정확히 $TV(p_t, q_t)$가 되므로, 동일한 신뢰 영역 반경이 롤아웃 편차와 개입 및 특수 감독 빈도를 상한으로 제어합니다. 또한, SAKI는 정확한 q 궤적 분포와 결합 의미를 보존하면서 엔진 내에 거주하는 사변적 검증기(speculative verifier)를 구현하여 작업 부하 롤아웃 처리량을 4.22배 향상시킵니다.

이 방법은 수학적 추론 벤치마크 7가지에서 1.7B 및 0.6B 학생 모두에 대해 평균@8(Mean@8)와 통과@8(Pass@8) 지표에서 교사 안내 기반 기준선을 개선했습니다. 추가적으로 배치 제어 및 고정 접두사 분석은 수정 트리거 라우팅을 충돌 적응형 감독 신호로 뒷받침합니다.

강화 학습과 검증 가능한 보상(RLVR) 분야에서 그룹 상대 방법론은 롤아웃 결과의 차이로부터 학습합니다. 그러나 완전한 궤적을 독립적으로 샘플링하는 것은 비용이 많이 들고 중요한 결정 공간을 명시적으로 탐색하지 못하는 한계가 있습니다. 따라서 완료된 궤적에 대한 피드백은 정책이 재고하는 이전 선택을 드러내어 대안적인 연속을 샘플링할 위치를 제시할 수 있습니다.

본 논문에서는 이러한 문제를 해결하기 위해 후회 유도 변화를 사용하여 분기점을 선택하는 하인드사이츠-다이버전스 국소화(Hindsight-Divergence Localization, HDL)를 제안합니다. HDL은 소수의 완전한 루트 궤적을 생성한 다음, 선택된 위치를 기반으로 원래 작업 맥락 하에서 각 훈련 그룹을 연속으로 채웁니다. 각 연속은 루트 접두사를 재사용하고 새로 생성된 접미체를 통해서만 정책 업데이트에 기여하여 생성 비용을 줄이고 분기점 이후의 결정에 대한 추가 탐색과 학습에 집중합니다.

실험 결과는 수학, 코드, 에이전트 작업 세 가지 모델에 걸쳐 롤아웃 효율성과 작업 성능 모두에서 이득을 보였습니다. 특히, 동일한 그룹 크기와 훈련 단계에서 GRPO와 비교했을 때 HDL은 생성된 토큰을 최대 2.5배 줄이고 롤아웃 벽시계 시간을 1.8배 단축했습니다. 이러한 생성 예산 감소에도 불구하고 HDL은 모든 영역에서 성능을 개선했으며, 에이전트 작업에서는 최대 12.5점의 성능 향상을 달성했습니다.

잠재 세계 모델은 표현 공간에서 행동 조건화된 동역학을 학습하지만, 목표 표현과의 유클리드 거리를 통해 후보 행동을 평가하는 방식은 작업에 맞게 정렬된 잠재 계획 비용을 보장하지 못합니다. 특히, 등방성 가우시안 정규화는 표현의 붕괴를 방지하는 데는 도움이 되지만, 계획 시 종단 오류를 가중하는 방식에 영향을 미쳐 작업 목표와 일치하지 않는 기하학을 유도할 수 있습니다.

이러한 불일치를 해결하기 위해 본 연구는 $\Lambda$Reg를 사용한 AnisoWM을 제안합니다. AnisoWM은 고정된 등방성 가우시안 목표를 학습 가능한 대각 공분산으로 대체하며, 이는 고정된 트레이스와 이방성 제약 조건 하에서 작동합니다. 예측 목표, 예측기 아키텍처, 유클리드 플래너는 변경되지 않으며, 목표는 오직 훈련 과정에서만 사용됩니다.

분석 결과, AnisoWM은 네 가지 시각 제어 환경에서 LeWorldModel보다 계획 성공률을 향상시켰습니다. 또한, AnisoWM에서 도출된 잠재 계획 비용은 작업 결과와 더 잘 일치하여 표현의 기하학이 실제 작업 비용을 반영하도록 개선되었음을 보여줍니다.

행동 기반 모델(BFM)은 휴머노이드에게 잠재 행동 공간에 대한 프롬프트 가능한 정책을 제공하여, 하나의 벡터로 모방할 동작, 도달할 자세, 또는 최대화할 보상을 표현할 수 있게 합니다. 하지만 포워드-백워드 표현 방식은 단일 로봇에 대해 수백 시간의 GPU-시간을 소모하며, 다른 로봇에 대해 반복 학습할 경우 각기 다른 잠재 공간이 생성되어 전이되지 않는 기체별 잠재값 문제가 발생합니다.

이러한 문제를 해결하기 위해 CrossBFM은 잠재 공간을 다양한 기체에 대한 전이 가능한 자산으로 취급하며, 로봇별 파라미터가 없는 통합 인코더 아키텍처를 제안합니다. 이를 통해 단일 GPU-시간 미만으로 모든 훈련 기체에 대해 행동 공간을 압축할 수 있습니다. 이 인코더를 통해 얻은 잠재값을 활용하여 잠재 조건부 트래커를 적용하면 전체 신체 제어를 구현할 수 있습니다.

실험 결과, 세 가지 압축된 휴머노이드에서 세 가지 프롬프팅 모드 모두에서 행동이 성공적으로 전이되었습니다. 동작 추적에서는 관절 조건부 정책과 0.025 라디안의 오차만 발생했으며, 자세 도달에서는 낙상 없이 부드러운 목표 도달이 가능했고, 보상 최적화에서도 41개의 보상 프롬프트 모두가 성공적으로 적용되었습니다. 또한, 인코더를 동작 코퍼스의 4분의 1로 축소하여 학습시키면 추적 성능의 5%만 손실하며, 다른 로봇에 대해 학습하고 보지 못한 로봇에서 평가할 경우 기존 로봇의 추적 성능의 최대 89%를 회복하여 형태학적으로 유사한 로봇 간의 기체 간 일반화가 가능함을 입증했습니다.

비디오 확산 모델이 다양한 다운스트림 작업에 특화된 모델로 발전하면서 샘플링 가속이나 장시간 비디오 생성 개선을 위한 증류(distillation) 과정이 각 모델마다 반복적으로 수행되어야 하는 문제가 발생합니다. 이를 해결하기 위해 연구진은 LongLive-Plug라는 일회성 증류 프레임워크를 제안했습니다.

LongLive-Plug는 기본 모델에 LoRA 형태로 재사용 가능한 능력을 학습하여, 별도의 훈련 없이 호환되는 다운스트림 모델에 플러그 앤 플레이 방식으로 배포할 수 있게 합니다. 이 재사용 가능한 능력에는 단일 패스 분류 프리 가이드(classifier-free guidance), 소수 단계 샘플링, 그리고 자기회귀 생성(autoregressive generation)을 위한 장문맥 오류 수정 기능이 포함됩니다.

이 어댑터들은 다운스트림 모델이 조건부 분기(conditioning branches)를 추가하거나 출력 채널을 확장하더라도 계속 재사용이 가능합니다. 특히, 고정된 가이드 스케일에서 훈련되었음에도 불구하고 전용 CFG LoRA는 추론 가중치를 통해 텍스트 가이드 제어를 제공하며, 이를 소수 단계 LoRA와 결합하여 다운스트림 작업에서 소수 단계 생성과 CFG 제어 능력을 동시에 보존합니다.

연구진은 이 접근 방식을 세계 모델링, 로보틱스, 편집, 멀티모달 생성 등 8가지 작업 범주와 세 가지 백본 패밀리에 걸쳐 총 54개의 다운스트림 모델에 대해 훈련 없는 배포를 검증했습니다. 이는 각 백본 패밀리당 한 번만 능력을 증류하고 타겟별 재훈련 없이 재사용할 수 있음을 의미합니다.

실제 비디오는 조작에 대한 풍부한 시연을 제공하지만, 이를 재사용 가능한 로봇 기술로 전환하려면 시각적으로 정렬된 환경, 실행 가능한 물리적 상호작용, 그리고 경험으로부터 학습하는 메커니즘이 필요합니다. 이에 연구진은 인간 및 로봇 시연을 상호작용 가능한 시뮬레이션 체육관으로 전환하고 시뮬레이션에서 습득한 기술을 실제 로봇에 적용하는 에이전트 기반의 Real2Sim2Real 프레임워크인 Real2Gym을 소개합니다.

Real2Gym의 핵심 모듈인 Real2Sim은 입력에 맞춰 장면을 재구성하고 객체와 카메라를 정렬하며, 고유 물리 실행을 통해 시연되거나 리타겟팅된 행동을 검증합니다. 또한 이 모듈은 행동 실행 가능성 검사를 통해 작업 조건별 변형을 생성합니다. 에이전트는 이러한 환경 내에서 조작 단계를 위한 실행 가능한 코드를 생성하고 결과를 관찰하며 성공 및 실패 시도를 재사용 가능한 작업 절차, 객체 상대 움직임, 복구 전략으로 정제합니다.

이러한 기술은 공유된 지각 및 제어 인터페이스를 통해 시뮬레이션과 실제 로봇에서의 후속 실행을 안내하며, 움직임은 현재 관찰에 맞춰 조정되지만 기본 모델 가중치는 업데이트되지 않습니다. 광범위한 평가 결과, Real2Gym은 고충실도 시뮬레이션 환경 재구성을 가능하게 하며, 시뮬레이션 환경에서 GPT-6 Astra Direct Mode보다 성공률이 16.7% 높고 정책 실행 토큰은 약 74.9% 적게 사용되었습니다.

더 나아가, 이 프레임워크는 실제 Franka 로봇에서 네 가지 작업에 걸쳐 물리적 로봇 실행 성공률에서 GPT-6 Astra Direct Mode를 33.3% 상회하는 성과를 보였습니다. 이는 Real2Gym이 시뮬레이션에서 습득한 기술을 실제 물리적 환경에 성공적으로 적용할 수 있음을 입증합니다.

시각 보상 모델은 시각 생성 모델을 평가하고 개선하는 데 필수적이지만, 기존 접근 방식은 작업 조건과 후보 결과물을 스칼라 보상으로 직접 매핑하여 개별 사례에서 무엇을 평가해야 하는지에 대한 내용을 암묵적으로 남겨두는 한계가 있습니다. 이를 해결하기 위해 본 논문은 각 사례에서 무엇이 중요한지를 판단한 후 후보의 성능을 평가하는 패러다임인 'Think Before You Score'를 제안합니다.

이 원칙에 따라, 우리는 사례 적응형 루브릭을 수립하고 루브릭 기반 평가를 수행하며 세밀한 점별 보상을 생성하는 Thinking Reward Model(TRM)을 제안합니다. 또한, 기존의 쌍별 선호 최적화가 점수 양극화를 유발할 수 있다는 점을 지적하며, 세밀한 점별 채점은 유지하면서 보상 구분을 개선하기 위해 쌍별 감독을 활용하는 Pairwise Dual-Group Relative Policy Optimization(PD-GRPO)을 도입했습니다.

이미지 생성 및 편집 보상 모델 벤치마크에 대한 광범위한 실험 결과는 TRM이 오픈 소스 보상 모델 중에서 최고 성능을 달성하면서도 독점적인 대안들과 높은 경쟁력을 유지함을 보여줍니다. 나아가, TRM을 강화 학습의 보상으로 사용할 경우 다양한 시각 생성 모델을 일관되게 개선하며, 세밀하고 사례 적응형 보상이 시각 생성에 효과적인 최적화 신호로 이어진다는 것을 입증합니다.

Rust의 직렬화 라이브러리인 Serde는 훌륭하지만, 설계상의 한계와 특정 상황에서 예상치 못한 제약 사항들이 존재합니다. 저자는 이러한 Serde의 한계를 개선하기 위해 miniserde에서 영감을 받아 완전히 다른 아키텍처를 기반으로 하는 Deser라는 새로운 직렬화 라이브러리를 제안합니다.

Deser는 Serde와 달리 데이터의 흐름을 처리할 때 싱크(sink)와 이미터(emitter)를 사용하여 상태를 힙에 보관하는 방식을 채택합니다. 이는 Serde의 재귀적인 접근 방식과 비교하여 데이터 모델이 스택을 성장시키는 대신 힙에 상태를 유지하게 하여 설계상의 문제를 해결하고자 합니다. 이러한 설계 변경은 Serde가 가진 안정성 보장에도 불구하고 일부 기능에서 발생하는 모순들을 해결하는 데 중점을 둡니다.

이러한 새로운 아키텍처는 다양한 포맷 지원과 유연성을 제공합니다. Deser는 JSON, YAML, TOML, XML, CBOR, MessagePack, plist 등 광범위한 포맷을 지원하며, JSON, JSONC, JSON5, HJSON 등 다양한 JSON 변형 포맷을 포함합니다. 하지만 이러한 개선에는 비용이 따릅니다. Deser의 설계는 동적 디스패치와 힙 기반 싱크/이미터를 사용하기 때문에, JSON 처리 시 Serde 기반 크레이트에 비해 평균적으로 읽기 속도는 10% 느리거나 쓰기 속도는 3배 느리다는 측정 결과가 있습니다.

결론적으로 Deser는 Serde의 사용자 경험을 바탕으로 한 새로운 접근 방식을 제시하지만, 성능과 안정성 사이에서 타협점을 찾아야 하는 과제를 안고 있습니다. 개발자는 Deser의 잠재적인 이점과 성능 비용을 고려하여 새로운 직렬화 라이브러리를 탐색할 때 이 트레이드오프를 염두에 두어야 합니다.

Anthropic의 IPO 투자설명서가 AI 비전과 급증하는 비용을 보여주고 있습니다. 이는 인공지능 분야의 발전 속도와 이에 따른 개발 및 운영 비용의 심각한 증가를 투자자들에게 제시하고 있음을 의미합니다.

이번 투자설명서는 Anthropic이 추구하는 AI 비전과 함께, 대규모 언어 모델 개발 및 운영에 필요한 비용이 급증하고 있다는 점을 구체적으로 드러냅니다. 특히 AI 기술의 발전이 요구하는 컴퓨팅 자원과 인프라 비용이 예상보다 훨씬 빠르게 증가하고 있어, 기업들이 AI 시스템을 확장하고 고도화하는 데 있어 재정적 부담이 커지고 있음을 시사합니다.

개발자 관점에서 이는 AI 모델을 구축하고 배포하는 데 있어 효율성과 비용 관리가 더욱 중요해졌음을 의미합니다. 앞으로 AI 기술을 활용하는 프로젝트를 진행할 때, 단순히 모델 성능뿐만 아니라 인프라 비용과 운영 효율성을 함께 고려해야 하는 현실적인 과제가 부각됩니다.