읽을 가치가 있는 기사만, 짧고 또렷하게.

객관식 선택지를 재배열하는 것은 모델의 답변을 변화시키는데, 이는 선택 편향(특정 선택지에 대한 선호)과 순서 민감도(선택지 순서에 따른 답변 변화)라는 두 가지 현상으로 연구됩니다. 이러한 현상들을 연결하는 지표는 선택 비율 표준 편차(pooled SD)로, 질문과 순서에 걸쳐 선택지 문자가 얼마나 불균등하게 선택되었는지를 측정합니다.

선택지들이 각 위치에서 동일한 빈도로 나타날 경우, 선택 비율 표준 편차는 플립률(flip rate)과 위치 편향(positional skew)이라는 두 가지 레이블 없는 요인의 곱으로 정확히 표현됩니다. 플립률은 순서에 따라 선택된 옵션이 바뀌는 질문의 비율을 나타내며 정확도와 출력 불확실성을 추적하고, 위치 편향은 옵션 기호의 선택 비율 표준 편차를 추적하여 옵션 기호에 대한 추정된 사전 확률을 나타냅니다.

선택 편향에 대한 사전 보정은 주로 위치 편향을 감소시키며, 순서 민감도에 대한 완화는 주로 플립률을 감소시킵니다. 각 순서를 그 역순과 함께 집계하는 것은 순서 민감도에 대한 완화를 주로 플립률 감소를 통해 달성합니다. 그러나 사전 보정을 집계 전에 적용하면 두 요인 모두를 줄이고 정확도 범위를 더욱 좁힐 수 있습니다.

다만 집계 과정은 질문을 동일한 오답 옵션에 고정시키기 때문에 플립률을 일부 낮출 수 있습니다. 따라서 안정성과 정확성을 구분하기 위해 정확도와 함께 두 요인 모두를 보고할 것을 권장합니다.

장기 에이전트 강화 학습(Long-horizon agentic RL)은 현재 정책이 방문한 미래에 의해 제약받으며, 롤아웃이 유용한 행동에 도달하지 못할 경우 개선된 신용 할당이 한 번도 경험하지 못한 상태와 행동에 대한 감독을 제공하지 못하는 문제가 있습니다. 따라서 온-폴리시 증류(OPD)와 같은 방법은 정책에 의해 유도된 상태에 대한 교사 지침을 제공하지만, 오라클이 제어하는 미래 자체를 훈련 궤적으로 직접 사용하지는 않습니다.

본 논문은 온-폴리시 에이전트 RL에 실행 가능한 오라클 연속(executable oracle continuations)을 추가하는 상태 기반 실행 가능한 롤아웃 최적화(State-Rooted Executable Rollout Optimization, SERO)를 제안합니다. SERO는 현재 정책이 실제로 도달한 상태를 복원하고, 훈련 전용 오라클이 실제 환경과 계속 상호작용하도록 하여 다운스트림 관측값과 오라클 행동 자체를 학습에 사용할 수 있게 합니다. 또한, 각 오라클 단계를 이전 오라클 행동과의 일치도에 따라 가중하는 정책 도달 가능성 가중치(policy-reachability weighting)를 적용하여 정책이 오라클 브랜치와 더 일치할수록 더 깊은 감독이 효과적으로 작동하도록 합니다.

이 방법은 오라클 손실을 기본 RL 추정치와 별도로 최적화하며 추론 시 오라클을 사용하지 않아 실용적입니다. SERO는 ALFWorld와 WebShop이라는 두 가지 도전적인 상호작용 에이전트 벤치마크에서 Qwen2.5-1.5B-Instruct 및 Qwen2.5-7B-Instruct 모델을 사용하여 평가되었습니다. ALFWorld에서 전체 실행 가능한 연속을 학습하는 것이 단순히 루트 오라클 행동만 감독하는 것보다 훨씬 효과적이었으며, 정책 도달 가능성 가중치는 분포 외 성능을 더욱 개선했습니다.

GUI 에이전트의 평가와 강화 학습(RL) 훈련을 모바일, 컴퓨터, 웹 환경 전반에서 통합하는 오픈 플랫폼인 MAI-Gym이 공개되었습니다. 이 플랫폼은 상호작용 환경의 높은 비용과 현실적인 훈련 과제의 부족으로 인해 GUI 에이전트 분야의 확장을 가로막는 문제를 해결하고자 합니다. MAI-Gym은 공유된 롤아웃 파이프라인을 통해 평가와 훈련에서 에이전트 행동의 일관성을 보장하며, 10가지 주요 벤치마크를 지원하고 20,000개의 병렬 환경 인스턴스로 확장할 수 있는 확장 가능한 인프라를 제공합니다.

MAI-Gym은 확장성뿐만 아니라 다양한 GUI 애플리케이션과 도전적인 과제를 자동으로 합성할 수 있는 기능을 제공합니다. 이를 통해 실행 검증된 작업 검증기(execution-validated task verifiers)를 포함하여 재설정 가능한 모의 앱과 일관된 크로스 앱 월드를 구축할 수 있습니다. 또한 이 플랫폼을 사용하여 모바일 및 컴퓨터 사용을 위한 통합 9B 에이전트인 MAI-Gym-9B를 훈련시켰으며, MobileWorld에서는 78.4%, OSWorld-Verified에서는 76.2%의 최고 성능을 달성했습니다.

특히 주목할 점은 모의의 훈련 앱에서 학습된 강화 학습이 실제 환경으로 전이된다는 것입니다. 모의의 트레인 티케팅 앱에서 학습된 RL은 실제 휴대폰에서의 작업 성공률을 28.8%에서 48.1%로 향상시켰습니다. 연구의 재현성과 확장된 GUI 에이전트 훈련 발전을 지원하기 위해 MAI-Gym 프레임워크, 합성 기술, 모의 앱, 2,000개의 검증된 작업, 모델 체크포인트를 공개합니다.

비전-언어 모델이 2D 관찰을 통해 정밀한 행동을 지원하는 3차원 이해를 할 수 있는지 평가하기 위해 RoTA-Bench를 소개합니다. 이 벤치마크는 상호작용적인 3D-to-2D 투영 정렬을 통해 객체의 기하학을 추론하고 회전 효과를 예측하며 시각적 피드백을 통해 행동을 개선하는 능력을 측정합니다. 모델은 목표 실루엣이 주어졌을 때 회전된 객체를 관찰하고 제한된 행동 예산 내에서 목표 투영을 복구하기 위해 연속적인 회전을 선택해야 합니다.

자동화된 파이프라인은 2D 아이콘에서 실루엣을 보존하는 3차원 객체를 구성하고 가역적 초기화(reversible initialization)를 사용하여 문제 해결 가능성을 보장하며, 총 674개의 태스크와 100개의 태스크로 구성된 테스트 세트를 생성했습니다. 실험 결과, 인간과 모델 간의 상당한 격차가 존재하며, GPT-5.6-Sol은 태스크의 17%만 성공하는 반면, 20명의 학부생 참가자는 테스트 세트를 네 번 모두 100% 성공률로 완료했습니다.

또한, 이미지 공간과 자세 공간에서의 발전이 다를 수 있다는 점이 발견되었습니다. 일치된 상태에서 모델은 인간보다 실루엣 겹침은 개선하지만 자세 정렬은 악화시키는 경향을 보였습니다(모델 19.4% 대 인간 10.9%). 이는 정밀한 3차원 제어를 시각적 증거를 인식하거나 일치시키는 것을 넘어선 복잡한 과제임을 시사합니다.

마지막으로, 미세한 제어는 상호작용 이력에 민감하다는 점도 확인되었습니다. 상호작용 이력을 제거하면 모델의 행동 중 96.8%가 거친 30도 단계 크기로 남아 관찰된 태스크 성공률이 크게 감소했습니다. 이러한 발견들은 시각적 증거를 정밀한 3차원 제어로 변환하는 데 있어 모델이 직면한 근본적인 어려움을 강조합니다.

생성적 초해상화(SR)는 컴퓨터 단층촬영(CT) 이미지에서 선명한 세부 정보를 복원할 수 있지만, 저해상도 입력만으로는 누락된 고주파 콘텐츠를 유일하게 결정할 수 없습니다. 이로 인해 시각적으로 그럴듯한 재구성 결과에는 누락되거나, 허위이거나, 잘못 연결된 혈관과 같은 해부학적으로 지지되지 않는 혈관 세부 정보가 포함될 수 있습니다.

이러한 문제를 해결하기 위해 VascuSR은 이미지 재구성과 명시적인 3차원 혈관 가이드를 결합한 반복적인 해부학 인식 확산 프레임워크를 도입했습니다. VascuSR은 먼저 개별 슬라이스를 넘어 구조 정보를 포착하는 명시적인 3차원 혈관 표현을 사용하여 풍부한 해부학적 가이드를 제공합니다. 또한, 경량의 3차원 생성 리파이너가 복잡한 CT 외관 대신 혈관 구조에 집중할 수 있도록 혈관 정제를 단순화합니다.

다음으로, 경량의 해부학 컨트롤러는 정제된 구조를 확산 디코더에 주입하고, 각 새로운 SR 볼륨에서 이 가이드를 반복적으로 업데이트하는 방식으로 슬라이스별 SR을 안내합니다. 재주석된 MSD Task08 및 HVM 데이터셋에서 VascuSR은 보간 및 학습 기반 SR 기준선보다 분할 정확도(Dice 및 clDice)와 3차원 혈관 구조(연결성 및 평균 중심선 거리)에서 우수한 성능을 보였습니다.

특히, VascuSR은 학습 기반 기준선과 비교했을 때 두 데이터셋 모두에서 클래스 평균 연결 구성 요소 수를 20% 이상, MSD에서는 평균 중심선 거리를 10% 이상 감소시켜 혈관 구조를 더 정확하게 포착합니다. 이 모든 과정에서 VascuSR은 SR 백본과 비교하여 이미지 품질을 유사하게 유지합니다.

최근 멀티모달 생성 시스템은 다양한 감각 정보를 통합하여 세상의 변화를 묘사하는 시각적 출력을 합성하는 능력을 보여주고 있습니다. 이러한 발전은 인간이 세계를 해석하고 미래를 예측하는 방식과 유사하며, 모델의 능력을 네 단계 계층으로 분류하여 분석했습니다.

연구진은 이러한 발전의 격차를 메우기 위해 멀티모달 관찰과 다양한 참조로부터 연속적인 미래 세계 상태를 예측하는 고차원 작업인 다단계 세계 상태 예측에 초점을 맞췄습니다. 이 작업은 모델이 인간의 행동 순서, 물리적 변형, 추상적인 시각적 추론을 일관된 시각적 출력으로 번역하기 위해 얽힌 이해 및 생성 능력과 광범위한 세계 지식을 갖추어야 합니다.

이를 위해 320개의 수동 설계 사례로 구성된 벤치마크인 WorldCast를 도입하여 12개의 대표 모델을 평가했습니다. 실험 결과, 최첨단 모델들은 세계 모델링의 경계를 빠르게 확장하고 있으며, GPT-Image-2.5 시스템은 실제 세계 작업에서 72.8점을 기록하며 초기 단계의 시각 상태 예측 능력을 입증했습니다.

하지만 모델들 간에는 상당한 격차가 존재하며, Nano Banana Pro는 42.8점, 최고의 오픈 소스 모델은 20.1점으로 복잡한 맥락, 얽힌 참조, 추론 중심의 작업을 처리하는 데 부족함을 보였습니다. 이러한 발견은 동적 계획 및 추론 능력을 갖추면서도 실제 세계 상태를 충실하게 시뮬레이션할 수 있는 멀티모달 생성 모델의 필요성을 강조합니다.

사전 학습된 비디오 확산 모델을 소수의 단계로 작동하는 자기회귀(AR) 생성기로 증류할 때 일반적으로 분포 일치 증류(DMD)와 학생 초기화를 결합합니다. 중간 AR 교사는 ODE 초기화를 위한 인과적으로 호환되는 목표를 제공할 수 있지만, 이러한 목표만으로는 짧은 샘플링 일정 하에서 고품질 생성을 보장하지 못합니다. 분석 결과, 인과적 ODE 초기화는 흐림 현상을 완화하지만 세부 묘사는 여전히 해결되지 않는 것으로 나타났습니다.

이러한 한계를 해결하기 위해 연구진은 중간 교사의 궤적 회귀 대신 표현 공간 감독을 통해 소수의 인과적 초기화를 학습하는 표현 강제(Representation Forcing)를 제안했습니다. 이 방법은 고정된 비디오 확산 변환기의 정규화된 특징을 사용하여 깨끗한 예측과 훈련 목표를 비교함으로써 교사 강제 학습을 수행합니다. 이 과정은 추가적인 인과적 ODE 궤적을 생성하지 않고 교사 훈련과 인과적 ODE 증류를 대체합니다.

실험 결과, 네 단계 샘플링 시점에서 표현 강제는 DMD 이전에 중간 교사 기반 초기화보다 생성 품질을 더 잘 보존했습니다. DMD 이후, 이 네 단계 청크 기반 모델은 인과적 ODE 기반 기준선 대비 VBench Total 점수를 84.04점에서 84.66점으로 0.62점 향상시키고 VisionReward 점수를 6.326점에서 10.074점으로 59.25% 향상시켰습니다.

전자상거래 상품 단위(SKU)를 위한 상업 등급의 메인 이미지를 생성하는 엔드투엔드 프레임워크인 CommerceGen-Studio가 발표되었습니다. 이 프레임워크는 정보 추출, 의미론적 재작성, 다중 조건 생성을 포함하는 세 단계 파이프라인으로 구성되어 있으며, VLM과 LLM 역할을 반복적으로 평가하는 폐쇄 루프를 통해 이질적인 SKU 메타데이터를 간결한 판매 포인트 텍스트 목록으로 추출합니다.

특히, Layout Thinker Optimization(LTO)은 도메인별 정책 최적화를 통해 캡션과 렌더링된 이미지 품질 모두와 재작성기를 정렬하여 이미지 품질을 향상시킵니다. 또한, Reinforce-Distill-Reinforce(RDR) 점진적 훈련을 통해 학습된 SKU-DiT 모델은 흰색 배경 제품 이미지, 상표 영역, 구조화된 레이아웃을 공동으로 조건화하여 주제 충실도, 상표 무결성, 문자 수준 텍스트 정확도를 동시에 확보합니다.

이 프레임워크는 하루 수백만 장의 메인 이미지를 상업적 규모로 처리하며 몇 초의 지연 시간으로 작동하여 상업적 규모에서 작동하는 최초의 시스템 중 하나가 될 수 있음을 시사합니다. 연구팀은 또한 모든 제품 범주에 걸친 실제 트래픽에서 수집된 어려운 사례들을 포함하는 CommerceGen-Bench 벤치마크를 공개했습니다.

이 벤치마크에서 CommerceGen-Studio는 편집 트랙에서 프롬프트 향상 유무와 관계없이 평가된 오픈 소스 기준선 중에서 가장 높은 전체 점수를 달성했으며, 훨씬 더 큰 폐쇄 소스 모델들과 일치하고 지시 따르기 및 제품 통합이라는 이미지 게시 여부를 결정하는 두 가지 속성에서 이들을 능가했습니다.

피드 포워드 가우시안 재구성은 입력 이미지로부터 3차원 장면을 직접 구축하여 새로운 시점 렌더링을 가능하게 하지만, 큰 시점 변화 하에서 고품질 렌더링을 위해 예측된 기하학으로부터 가우시안 속성을 학습하는 데 어려움이 있습니다. 이러한 한계를 분석하고 렌더링 품질을 개선하기 위해 새로운 방법인 InfiniSplat v2를 제안합니다.

InfiniSplat v2는 아키텍처 및 학습 변경을 통해 렌더링 품질을 향상시키며, 기하학 예측과 속성 예측을 분리하기 위해 고정된 기하학 브랜치를 사용합니다. 또한 학습 과정에서 실제 카메라 자세를 사용하여 예측된 가우시안을 정렬하고 대각선 목표 시점 관찰 감독을 채택합니다.

이러한 접근 방식을 통해 여섯 가지 데이터셋에서 동일한 모델의 피드 포워드 결과는 자세 조건부 및 자세 무관 설정 모두에서 평가된 방법들 중 평균 LPIPS와 DISTS에서 최고 수준을 달성했습니다. 특히 자세 조건부 설정에서는 가장 강력한 기준선 대비 평균 LPIPS와 DISTS가 각각 25.8%와 32.9% 감소했습니다.

더 나아가, 이미지 재구성에만 의존하여 학습된 불투명도(opacity)는 기하학적으로 일관성이 없는 점들을 억제한다는 점도 발견되었습니다. 이 연구는 3D 장면 재구성과 렌더링 품질 향상에 있어 가우시안 속성 학습의 한계를 극복하는 데 기여합니다.

Intern Lumina U2는 다중 코드북 시각 토큰을 완전히 이산적인 공간에서 표현하는 최초의 확산 언어 모델로, 시각적 이해와 이미지 생성 분야에서 선도적인 성능을 보입니다. 이 모델은 각 시각적 위치를 보완적인 코드북에서 가져온 코드 그룹으로 표현하여 표현 능력을 확장하면서도 이산적인 텍스트 모델링과의 호환성을 유지합니다.

Intern Lumina U2는 AToken의 통합된 4차원 표현을 기반으로 구축되어 이미지, 비디오, 3D 입력을 단일 백본 내에서 처리할 수 있습니다. 입력 시 임베딩은 각 위치에서 연결되며, 경량의 다중 코드북 자기회귀 헤드가 각 위치의 코드를 순차적으로 예측하고 확산 백본은 모든 위치를 병렬로 처리합니다.

연구진은 Ascend와 NVIDIA 플랫폼 모두에서 전체 스택의 훈련, 추론, 평가 시스템을 구축하여 모델의 교차 플랫폼 효과를 검증했습니다. 또한 안정성 인식 샘플링 전략을 통해 추론 효율성을 개선했는데, 이는 신뢰도 고원 가이드 언마스킹 접근 방식과 드리프트 트리거 캐시 새로고침 메커니즘을 결합하여 이미지 생성을 4.45배 가속화합니다.

비디오 생성 모델이 상호작용 가능한 세계를 제공하지만, 현실적이고 시각적으로 매력적인 프레임이 반드시 일관된 3차원 세계를 묘사하지는 않는다는 문제가 제기되었습니다. 기존 벤치마크들은 선택된 기하학적 속성을 평가하거나 비전-언어 모델을 사용하여 기억 및 일관성을 판단하는 데 그쳤으며, 체계적인 3차원 평가가 부족했습니다.

이에 연구진은 상호작용 세계 모델의 3차원 일관성을 체계적이고 포괄적으로 평가하기 위한 최초의 벤치마크인 Orbia를 소개합니다. Orbia는 통제된 탐색 및 재방문을 통해 평가를 입력 보존, 생성 콘텐츠 지속성, 그리고 3차원 자체 일관성의 세 가지 차원으로 구성합니다. 입력 보존을 위해서는 등록된 RGB-D 참조와 주석이 달린 앵커를 사용하여 외관, 기하학, 공간 안정성을 측정합니다.

생성 콘텐츠 지속성에서는 입력 이미지에 없는 영역에 대한 재방문과 첫 생성 관찰을 비교하여 모델이 생성한 내용을 보존하는지 테스트합니다. 3차원 자체 일관성에서는 교차 시점 깊이 및 특징 대응, 지역 스케일 일치, 그리고 홀드아웃 가우시안 렌더링을 통해 생성된 시점이 동일한 3차원 장면을 묘사하는지 검증합니다.

이 평가 파이프라인은 공개 데이터셋, 자체 캡처된 장면, 시뮬레이션을 통합하여 실내외 환경에서 720개의 인스턴스와 여섯 가지 탐색-재방문 프로토콜을 산출했습니다. Orbia 벤치마크는 3차원 불일치를 진단하고 보다 지속적인 비디오 세계 모델을 개발하기 위한 체계적인 기반을 제공합니다.

추론 증류(reasoning distillation)를 위해서는 정답이 있는 체인-오브-사고(CoT) 데이터가 필요하지만, 이러한 데이터를 효율적으로 얻는 것이 여전히 어렵습니다. 기존 방법인 순방향 CoT 생성(FCG)과 거부 샘플링(RS)은 검증된 응답을 생성하지만 어려운 문제의 경우 많은 교사 호출이 필요하며, 역방향 CoT 생성(RCG)은 비용이 저렴하지만 사후 합리화(post-hoc rationalization)로 인해 학생의 추론 설정과 불일치할 수 있다는 단점이 있습니다.

이에 연구진은 역방향 CoT 응답을 검증된 순방향 응답 분포로 변환하도록 학습하는 CoTranslator를 제안했습니다. 이 모델은 역방향 CoT와 거부 샘플링된 순방향 응답 쌍을 기반으로 학습되어 학생 훈련 데이터의 대규모 생성 및 검증을 지원합니다.

CoTranslator는 수학 벤치마크에서 6명의 학생 모델을 평가한 결과, 의미적 억제(semantic suppression) 대비 평균 정확도를 최대 5.82퍼센트 포인트 향상시켰습니다. 특히 4B 학생 모델의 경우 거부 샘플링의 평균 정확도를 95.0%로 유지하면서 추정 컴퓨팅 자원의 35.9%만을 사용했습니다.

또한, CoTranslator는 재학습 없이 새로운 수학 데이터셋, 다른 교사, STEM 문제로도 적용될 수 있어 효율적이고 전이 가능한 접근 방식을 제공합니다. 4B 및 8B 학생 모델의 경우 평균 STEM 정확도를 각각 4.88퍼센트 포인트와 4.31퍼센트 포인트 향상시켰습니다.

인터랙티브 비디오 생성은 응답 지연 시간을 줄이기 위해 일반적으로 작은 양방향 청크에 의존합니다. 그러나 실험 결과, 더 큰 청크가 비디오 품질을 개선하고 GPU 병렬 처리를 더 잘 활용하여 샘플링 시간의 약간의 증가만으로 더 많은 잠재값(latents)을 샘플링할 수 있음을 보여줍니다. 이러한 관찰을 바탕으로 연구진은 대규모 양방향 창의 모델링 능력과 작은 창의 낮은 지연 시간 상호작용을 결합하는 전략인 사변적 샘플링(Speculative Sampling)을 제안합니다.

사변적 샘플링은 노이즈 잠재값을 패딩으로 추가하여 모델링 창을 확장하고, 조건이 변경되지 않을 때 결과 예측을 재사용하기 위해 캐싱하는 방법을 사용합니다. 예측은 점진적으로 제공되면서도 확정되지 않은 미래는 대체 가능하게 유지됩니다. 이 분석 결과는 청크 경계로 인해 발생하는 대기 시간 하한선을 제거하여 최적화의 초점을 청크 크기를 줄이는 것에서 개별 청크 샘플링을 가속화하는 것으로 전환시킵니다.

결과적으로 양방향 창의 크기는 낮은 지연 시간 상호작용에 대한 필수 제약 조건이 아니라 시각적 품질과 샘플링 시간을 공동으로 최적화하기 위한 결정 변수가 됩니다. 이는 복잡한 스트리밍 후처리 없이도 대규모 양방향 모델을 인터랙티브 스트리밍 시스템에서 제공할 수 있는 길을 열어줍니다.

사전 학습된 단일 양식 모델들은 협업을 통해 다중 양식 예측으로 유연하게 접근할 수 있지만, 양식이 누락될 경우 이러한 협업의 정확도가 살아남은 단일 양식 모델보다 떨어질 수 있습니다. 연구진은 고정된 살아남은 모델 앵커를 사용하여 이 상황을 분석한 결과, 입력이 사라지더라도 앵커의 입력이 변경되지 않았을 때 협업 이득이 약화되거나 역전될 수 있음을 발견했습니다. 또한, 집계 후와 상태 의존적인 협업 표현에서 양식별 정보의 복구가 감소한다는 진단 결과도 제시되었습니다.

이에 연구진은 Lluna를 제안했는데, 이는 적응된 단일 양식 특징으로부터 직접적인 개인 예측 경로와 잔차 보정을 제공하는 공통 그래프 기반 협업 브랜치를 결합한 모델입니다. 이 모델은 단일 양식 제거에 따른 점진적 협업 일관성(Progressive Collaboration Consistency)을 통해 정규화된 공통 표현을 정렬하고, 작업 감독이 사용 가능한 증거에 따라 예측을 조정하도록 합니다.

여덟 가지 데이터셋(정서 컴퓨팅, 장면 이해, 의료 예측 포함)에 걸쳐 평가한 결과, Lluna는 전체 입력 상태가 아닌 비완전한 입력 상태에서 가장 우수한 평균 성능을 달성했습니다. 이는 가장 강력한 평가 기준선 대비 평균 누락값(Mean-Missing)을 4.26% 개선한 수치입니다. 고정 앵커 진단 결과는 최소한의 입력 하에서 모든 여덟 가지 작업에 대해 평균 협업의 긍정적인 이득을 보여주었습니다. 코드는 GitHub에서 공개되어 있습니다.

최근 연구는 이미지 생성을 통한 시각 추론을 탐구하며, 흐름 일치(flow matching)와 같은 반복 샘플러가 추론 단계와 유사하다는 직관을 다루었습니다. 그러나 본 연구는 회로 복잡도 관점에서 이러한 직관이 오해의 소지가 있음을 증명합니다. 모델 출력이 특정 완화된 규칙 조건을 만족할 경우, 일반적인 흐름 일치 샘플러의 궤적은 병렬 모델 평가의 일정한 수의 순차적 라운드로 시뮬레이션될 수 있습니다. 이는 추가적인 샘플링 단계가 트랜스포머의 표준 복잡도 이론 모델 하에서 상수 깊이 백본 모델의 표현력을 증가시키지 못함을 의미합니다.

이러한 병목 현상을 해결하기 위해 연구진은 이전 단계의 최종 이미지 추정치로 모델을 조건화하는 자기 조건화(self-conditioning)가 이 문제를 해소하는 데 중요한 역할을 한다고 밝혀냈습니다. 다양한 시각 추론 작업에 대한 실험 결과, 자기 조건화를 적용한 흐름 일치 방식은 일반적인 흐름 일치보다 더 높은 정확도와 추론 깊이를 달성하며, 샘플링 단계가 늘어날수록 성능이 향상되었습니다.

이론적으로 자기 조건화를 통해 상수 깊이 백본 모델이 공간 제한 튜링 기계와 동등한 표현력을 달성할 수 있음을 증명했습니다. 이는 향후 시각 추론 연구를 위한 설계 원칙을 제시하는데, 샘플링 단계 사이에 더 많은 정보를 전달하여 추가적인 단계가 더 깊은 추론으로 이어지도록 해야 한다는 것입니다.

단일 시점 세계 공간 인간 복원 방법은 현재 벤치마크에서 우수한 성능을 보이지만 빠른 카메라 움직임에는 적합하지 않습니다. 연구진은 빠른 카메라 움직임과 밀도 높은 다인 체어나 결합된 방송 댄스 비디오를 스트레스 테스트로 활용하여 이 문제를 제기했습니다. 기존의 선도적인 방법들은 각 프레임에 대해 그럴듯한 메시를 생성하지만, 세계 공간 궤적은 공연자의 실제 위치와 크게 어긋나는 현상이 발생합니다.

체계적인 진단을 통해 카메라와 인간의 추정치는 개별적으로는 일관성을 유지하지만, 서로 다른 스케일로 결합될 때 오차가 발생함을 발견했습니다. 각 추정치는 자체 스케일로 복원되므로, 두 추정치 간의 불일치가 카메라 움직임을 인간의 드리프트로 바꾸어 놓으며 카메라 변위가 커질수록 심화되어 방송 댄스 비디오에서 특히 심각해집니다.

연구진은 이러한 불일치를 추정하고 보정하는 폐쇄형 보정(closed-form correction) 방법을 도출했습니다. 이 방법은 스케일 불일치를 추정하고 모든 공연자에게 하나의 스케일을 적용하여 드리프트를 제거하면서도 상대적인 위치를 하나의 공유 세계 프레임 내에 유지합니다. 이 보정은 재학습이 필요 없으며 기존 백엔드와 함께 작동합니다.

물리적 제약 조건과 결합하면 이 보정은 안무 모델링, 장면 편집, 데이터 생성, 가상 리쇼팅을 위한 안정적인 세계 공간 재구성을 제공합니다. 이는 카메라 동역학이 복잡한 장면에서 인간 추정치와 카메라 추정치를 통합하는 데 중요한 해결책을 제시합니다.

로봇이 시각적 관찰을 통해 특정 대상을 식별하고 환경을 따라 움직이는 전신 시각 추적(Embodied visual tracking)은 도전적인 과제입니다. 특히 고립된 사람을 따라가는 것보다 여러 방해 요소 속에서 의도된 사람을 추적하는 것이 어려우며, 기존 방법들은 단일 목표 추적에서 방해 요소 추적으로 넘어갈 때 성공률이 크게 감소하는 문제가 있었습니다.

본 연구는 시각적 표현과 언어적 표현이 추적 특화 동작을 학습하기 전에 정렬되어야 한다는 가설을 바탕으로 비전-언어 웨이포인트 정책을 제안합니다. 이 정책은 동반된 고정된 시각 인코더, 다중 스케일 시간적 맥락, 트랜스포머 백본, 그리고 로봇 중심 웨이포인트 예측을 위한 경량 헤드를 결합하여 설계되었습니다. 학습은 시각-언어 정렬, 중간 학습 중 다중 모드 추론, 그리고 추적 특화 단계로 진행되었습니다.

이러한 다단계 학습 과정을 통해 연구진은 19,532개의 오라클 에피소드에서 추적 특화 과정을 거쳤으며, 이전 OmTrackVLA 모델의 방해 요소 추적 성공률 41.54%에 비해 55.80%를 달성했습니다. 특히 필터링된 오라클 레이블을 사용한 온-폴리시 정제(on-policy refinement)를 적용한 결과, 방해 요소 추적 성공률은 58.22%로 증가했으며 충돌률은 1.99% 감소했습니다.

최종 정책은 비교된 방법들 중에서 방해 요소 및 모호한 추적 성공률에서 가장 높은 결과를 기록했습니다. 이 결과는 다중 모드 학습이 방해 요소 추적에 있어 유망한 방향임을 뒷받침하며, 공유 공간에서의 사람 추적을 위한 온-폴리시 정제 연구를 촉진합니다.

시뮬레이션 환경은 임베디드 에이전트를 위한 확장 가능한 학습 데이터 생성을 가능하게 하지만, 단순히 데이터 양이 많다고 해서 특정 에이전트가 학습해야 할 것을 제공하지는 않습니다. 기존의 환경 생성 파이프라인은 현실성, 다양성, 또는 작업 커버리지와 같은 일반적인 속성을 최적화하는 데 중점을 두는 반면, 서로 다른 사전 학습된 정책은 환경에 따라 다른 이유로 실패할 수 있습니다.

이에 연구진은 사전 학습된 에이전트의 실패 모드를 활용하여 각 적응 라운드마다 훈련 환경 생성을 안내하는 프레임워크인 WEDGE를 제안합니다. WEDGE는 LLM을 사용하여 성공적인 실행과 실패한 실행에서 실행 가능한 약점 특징을 제안하고, 이를 진단 세트에서 자동으로 검증한 후 성공률 격차를 기반으로 가장 강력한 약점을 선택합니다. 이 검증된 약점은 해당 약점을 제어하는 환경 요인에 매핑되어, 정책이 어려움을 겪는 난이도 영역에서 맞춤형 훈련 경험을 제공하는 환경을 구성하는 데 사용됩니다.

세 가지 내비게이션 에이전트를 대상으로 한 실험 결과, 정책들은 서로 다른 약점 프로필을 보이며 각기 다른 훈련 환경에서 이점을 얻는 것으로 나타났습니다. 약점 기반 적응은 ProcTHOR에서 매칭된 무작위 또는 어려운 예제 대안보다 일관되게 우수한 성능을 보였으며, 그 결과는 ProcTHOR 적응 후 Uni-NaVid와 Gemini에 이르기까지 HM3D로도 확장되었습니다.

또한 반복적인 재진단(iterative re-diagnosis)을 통해 정책이 개선됨에 따라 지배적인 약점이 지속되거나 변화할 수 있음을 확인했으며, 이는 후속 환경 구성을 위한 업데이트된 지침을 제공합니다. 이러한 결과는 정책 실패가 단순히 진단 신호가 아니라, 정책의 현재 약점을 목표로 하는 훈련 환경을 구성하기 위한 실행 가능한 지침임을 보여줍니다.

온폴리 자가 증류는 특권적인 자체 교사(self-teacher)를 통해 추론 모델에 밀도 높은 지도 신호를 제공하지만, 이 신호는 가이드가 없는 학생의 계속 진행에 대한 예상 보상보다는 로컬 토큰 선호도를 반영한다는 한계가 있습니다. 최근 연구들은 이러한 신호를 GRPO와 결합하여 사용하지만, 연구진은 PPO 내에서 더 효과적인 통합 방식을 제시했습니다.

연구진은 특권 정보가 응답의 끝에 대한 비평가(critic)의 가치 예측 정확도를 향상시키는 반면, 자체 교사 지도는 초기에는 강하지만 중간 생성 단계에서는 감소했다가 최종적으로 다시 상승하는 상보적인 위치 역학을 발견했습니다. 이러한 통찰을 바탕으로 가치 증강 자체 증류 정책 최적화(VASPO)라는 방법을 제안했는데, 이는 자체 교사와 비평가가 학생이 생성한 접두사에서 동일한 특권 정보를 평가하도록 설계되었습니다.

VASPO에서 비평가는 예측된 계속 보상으로부터 토큰 수준의 PPO 이점을 계산하고, 자체 교사는 제한된 확률 비율을 통해 선택된 긍정적인 이점을 조절합니다. 이 방법은 여섯 가지 수학적 추론 벤치마크에서 PPO 대비 Qwen3-4B에서 2.59%, OLMo3-7B에서 1.81% 포인트의 평균 정확도를 개선했으며, 특히 퀴즈와 논리 문제에서 가장 높은 평균 정확도를 달성했습니다.

해당 연구의 코드는 https://github.com/cii030/VASPO에서 공개되어 있습니다.

과학 연구에서 재귀적 자기 개선(RSI)은 에이전트의 실험 경험을 통해 연구 능력을 향상시키는 것을 목표로 합니다. 과학 에이전트 군집은 다양한 연구 방향의 증거와 구현을 결합하여 후속 실험을 안내할 수 있지만, 좋지 않은 실험 결과는 가설이나 구현을 수정할지 여부를 불분명하게 만들고, 전체 프로그램 점수는 다른 에이전트에게 유용한 구성 요소를 숨길 수 있다는 문제가 있습니다.

이러한 도전 과제를 해결하기 위해 연구진은 재귀적 자기 개선을 위한 과학 에이전트 군집을 진화시키는 프레임워크인 SwarmRSI를 제안했습니다. SwarmRSI는 다른 에이전트로부터의 실험 피드백을 사용하여 가설과 구현을 다듬는 피드백 기반 군집 변이(Feedback-Guided Swarm Mutation)와 에이전트 전반에 걸쳐 보존된 가설과 보완적인 프로그램 구성 요소를 재사용하는 상보적 군집 재조합(Complementary Swarm Recombination)이라는 두 가지 메커니즘을 개발했습니다.

이 두 메커니즘을 피드백 루프에 통합하는 재귀적 군집 진화(Recursive Swarm Evolution)를 통해 새로운 실험 증거를 사용하여 후속 연구를 안내합니다. SwarmRSI는 OpenProblems, NatureBench, MLE-Bench Lite 실험에서 최고 수준의 성능을 입증했으며, 축적된 연구 경험이 보류된 작업에서의 성능을 향상시킨다는 추가 평가 결과도 나왔습니다. 또한 생물학자들도 이 프로그램들을 재현하여 후속 생물학적 분석에 활용할 수 있습니다.