읽을 가치가 있는 기사만, 짧고 또렷하게.

음악 제작에서 레퍼런스 리스닝은 일반적인 전략이지만, 현재의 비교 도구들은 비교 대상을 결정하는 핵심적인 인간의 판단을 가리는 경우가 많습니다. 이에 본 연구는 사용자가 전체 트랙이나 독립적으로 선택한 세그먼트에 걸쳐 비교 범위를 정의할 수 있는 AI 지원 시스템인 Diptych를 제시합니다. Diptych는 구조화된 오디오 특징과 범위별 AI 해석을 검토할 수 있게 하여 사용자가 비교의 초점을 명확히 설정할 수 있도록 돕습니다.

연구진은 12명의 음악가들을 대상으로 내 참가자 연구를 수행했으며, 네 명의 전문가 청취자의 출처를 모르는 평가를 보완했습니다. 참가자들은 이 시스템을 사용하여 추가적인 차이점을 발견했으며, 이 중 아홉 가지는 전문가의 부분적인 지지를 받았습니다. 또한 참가자들은 시스템 사용에 대한 만족도가 높고 다음 단계에 대한 명확성이 증가했다고 보고했습니다.

이러한 결과는 창의적인 비교를 위한 AI 지원이 권위적인 판단을 피하고, 사용자가 정의한 범위, 검토 가능한 증거, 그리고 실행 가능한 지침을 우선시해야 함을 시사합니다. 따라서 AI는 증거가 뒷받침하는 범위를 넘어서는 권위적인 판단을 제공하는 것을 지양해야 합니다.

비디오 생성 모델은 짧고 품질이 낮은 클립에서 복잡한 시공간 역학을 가진 고해상도 장시간 시퀀스로 빠르게 발전했습니다. 대규모 사전 학습을 통해 강력한 생성적 사전 지식을 학습했음에도 불구하고, 사전 학습된 비디오 모델은 종종 인간의 의도를 안정적으로 따르지 못하거나 시간적 일관성을 유지하지 못하고 물리적 및 안전 제약 조건을 만족시키지 못하는 문제가 발생합니다.

이미지나 텍스트 생성과 비교하여 비디오 생성에서의 정렬(alignment)은 시간 경과에 따른 오류 축적, 움직임과 외관의 결합, 다중 목표 간의 상충 관계, 그리고 시간적 속성에 대한 제한된 감독 등 고유한 어려움을 제시합니다. 이러한 문제들은 모델을 처음부터 재학습하지 않고 사전 학습된 모델을 조정하는 체계적인 후처리 전략을 촉발합니다.

본 서베이는 비디오 생성 모델의 후처리 및 정렬에 대한 최초의 포괄적인 검토를 제시하며, 후처리를 통합적인 프레임워크로 설정하고 정렬 신호가 훈련과 배포 전반에 걸쳐 모델 행동을 어떻게 형성하는지를 구분합니다. 기존 접근 방식들을 지도 미세 조정 방법, 자기 학습 및 증류 방법, 선호도 및 보상 기반 방법, 추론 시간 방법의 네 가지 광범위한 범주로 정리하여 체계적인 관점을 제공합니다.

또한 이 연구는 확장 가능한 보상 설계, 장기 시간적 일관성, 안정성과 표현력 간의 상충 관계, 안전 인식 생성과 같은 열린 과제들을 논의합니다. 이 서베이는 제어 가능하고 신뢰할 수 있는 비디오 생성 모델을 발전시키기 위한 구조화된 개념적 기반과 실용적인 지침을 제공하는 것을 목표로 합니다.

비디오 월드 모델은 장거리 비디오 생성 시 일관성을 유지하기 위해 지속적인 장면 메모리가 필요하지만, 기존의 공간 메모리는 RGB 관측값이나 잠재 특징을 누적하여 생성 과정이 진행됨에 따라 저장 공간 요구량이 증가합니다. 이에 본 논문은 HexMemory라는 저차원 표현을 사용하여 장면 특징을 고정된 크기의 메모리에 저장하는 Honeycomb이라는 비디오 월드 모델을 제안합니다.

Honeycomb은 총 여섯 개의 공간 및 시공간 평면으로 구성된 메모리를 기반으로 하며, 새로운 청크를 생성할 때 쓰기(writer)는 새로운 평면에 특징을 매핑합니다. 공간 범위나 시간 범위가 확장될 경우 이전 평면들은 차원을 유지하며 왜곡되고 새로운 특징과 신뢰도 가중치 풀링 및 학습된 잔차 보정을 통해 융합됩니다. 독자(reader)는 HexMemory에서 잠재 벡터를 검색하여 후속 비디오 생성을 조건화할 수 있습니다.

이러한 접근 방식은 쓰기 과정에서 전체 이력의 반복적인 처리나 장면별 최적화를 피함으로써 효율성을 높입니다. WorldScore 및 RealEstate10K 실험 결과, Honeycomb은 생성 과정 전반에 걸쳐 HexMemory 특징 저장량을 일정하게 유지하면서 강력한 비디오 생성 품질과 견고한 재방문 일관성을 입증했습니다. 관련 코드와 시각화 자료는 프로젝트 페이지에서 확인할 수 있습니다.

최근 비디오 기반 월드 모델은 자기회귀(AR) 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있습니다. 이러한 모델의 최적 성능과 충실도를 위해서는 장면 토크나이저의 선택이 매우 중요합니다. 특히, 세밀한 정보를 담기 위해 전체 클립의 전역 의미를 담는 초기 거친 토큰과 세부 사항을 지정하는 후기 토큰을 포함하는 유연한 길이의 거친-세밀(coarse-to-fine) 토크나이저가 필요합니다.

기존의 유연한 토크나이저는 디코더의 노이즈 입력으로부터 일부 목표를 달성할 수 있는 초기 디코더 은닉 상태에만 표현 정렬(REPA) 손실을 적용하는 한계가 있었습니다. 이에 연구진은 SemanTok이라는 유연한 비디오 토크나이저를 제안했습니다. SemanTok은 고정된 DINO 특징을 인코더에 공급하고 각 유지된 토큰 접두사만으로 특징을 재구성하는 경량 헤드를 추가하여 토크나이징을 수행합니다.

SemanTok은 모든 AR 모델 크기에서 높은 의미적 정렬과 비디오 충실도를 달성합니다. 예를 들어, 201M SemanTok AR 모델은 VideoFlexTok AR 모델보다 3.4배 큰 모델의 성능을 따라잡거나 능가하며, 더 큰 모델에서는 충실도가 더욱 향상됩니다. 또한 이 방법은 분포 외 클래스에 대한 의미적 정렬을 유지하고 순수한 노이즈를 포함한 모든 노이즈 수준에서 디코더에 더 높은 의미적 정렬을 제공합니다.

SemanTok은 재구성 및 생성 모두에서 우수한 성능을 보이며, 짧은 토큰 접두사는 예측 비용을 절감하고 생성 충실도를 높입니다. 이는 픽셀 세부 사항을 후기 토큰으로 미루어 처리함으로써 더 나은 생성 품질을 제공합니다.

LLM 에이전트는 추론과 행동을 토큰별로 생성하기 때문에 상호작용이 느리고 계산 비용이 많이 듭니다. Jev 스타일 모델은 유한 체(finite fields) 위에서 빠른 확률적 예측을 제공하지만, 이 체를 미리 지정해야 하는 제약이 있어 자연어 지시사항으로부터 행동을 도출하고 상호작용을 통해 적응해야 하는 자율적인 작업 해결에는 한계가 있습니다.

이러한 문제를 해결하기 위해 본 논문은 자연어 작업 명세와 유한 확률적 탐색을 연결하는 구성적 정책인 JevSpawn을 소개합니다. JevSpawn은 병렬 행동 생성과 피드백 기반 분기 선택, 표현 수정, 보존된 대안으로부터의 복구를 결합합니다. 또한 공유된 행동 구조와 모델 접두사를 통해 추가적인 훈련 없이도 반복적인 생성과 컨텍스트 계산을 줄입니다.

여덟 가지 벤치마크 작업에 대해 일곱 가지 에이전트 기준선 및 TypeSafe Jev 변형 모델과 비교한 평가 결과는 JevSpawn이 구조화된 에이전트 추론을 위한 유망한 접근 방식임을 입증합니다. 이 방법은 작업 성능을 개선하고 탐색 속도를 높이는 데 기여합니다.

자동 가구 배치 문제는 제한된 실제 데이터와 상호 작용하는 기하학적 및 기능적 제약 조건을 만족시켜야 하는 어려움 때문에 여전히 해결되지 않고 있습니다. 연구진은 사전 학습된 모델을 사용하여 실제 평면도에서 전문적인 가구 배치 지식을 학습하고, 비용이 많이 드는 반복적인 에이전트 추론 없이 직접 제약 조건에 민감한 레이아웃을 생성할 수 있는지 탐구했습니다.

이를 위해 연구팀은 92개 객체 클래스와 10개의 주거실 범주를 포괄하는 505개의 실제 전문 건축 평면도와 밀도 높은 가구 주석으로 구성된 AntPlan 데이터셋을 구축했습니다. 또한 가구 레이아웃을 생성하기 위한 프레임워크인 Architect-Ant를 소개했는데, 이는 편집 가능한 좌표 기반 DSL을 통해 레이아웃을 표현하며 지도 학습을 통해 전문적인 가구 패턴을 학습합니다.

Architect-Ant는 전문 평면도에서 파생된 기하학적 및 기능적 제약을 집계하는 레이아웃 규칙 점수(LRS)를 사용하여 GRPO로 최적화됩니다. 이 방법은 추론 과정 없이 결과 수준에서 감독을 제공하며, 다양한 최첨단 기준 모델과의 실험 결과, Architect-Ant는 낮은 기하학적 위반률과 높은 기능적 완전성을 결합하는 것으로 나타났습니다.

최종적으로 도출된 레이아웃은 실제 주거 가구 배치 패턴을 더 잘 반영하며 객체 수준에서 편집 가능하고 3D 장면으로 변환될 수 있다는 장점을 가집니다.

비전-언어 모델(VLM)은 강력한 멀티모달 추론 능력을 보여주지만, 실제 세계 역학을 뒷받침하는 물리적 일관성을 실제로 포착하는지에 대해서는 여전히 불분명합니다. 기존의 벤치마크 패러다임은 인식, 추론, 물리적 판단 간의 상호 작용을 간과하고 개별 인지 단계에 초점을 맞추어 평가가 단편적이라는 한계를 가지고 있습니다. 이러한 전체적인 관점의 부족은 VLM이 새로운 생성 모델의 물리적 진정성을 신뢰할 수 있게 평가할 수 있는지 진단하는 능력을 제한합니다.

이러한 문제를 해결하기 위해 본 연구는 인간의 보고-추론-평가 과정에서 영감을 받은 폐쇄적인 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하는 벤치마크인 PhysVista를 제안합니다. PhysVista는 물리적 상태 인식, 물리적 역학 추론, 그리고 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한, 이벤트 수준 추론과 규모 수준 추론을 구별하여 물리적 이해에 대한 세밀한 분석을 가능하게 합니다.

PhysVista는 실제 세계 영상과 AI가 생성한 영상을 모두 포함하여 다양한 영역과 새로운 생성 시나리오에 걸쳐 평가를 허용합니다. 광범위한 실험 결과는 물리적 추론과 타당성 평가에서 상당한 한계를 드러내며, 시각적 인식과 진정한 물리적 이해 사이에는 지속적인 격차가 있음을 강조합니다. 이는 물리적으로 근거를 갖는 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.

온폴리 정책 자기 증류(OPSD)는 참조 해답을 보는 특권 교사(privileged teacher)를 사용하여 수학적 추론 모델을 훈련하는 방법입니다. 표준 OPSD는 모든 상태에서 고정된 파라미터 설정을 사용하지만, 인접한 설정들이 추가적인 감독 정보를 제공할 수 있다는 점을 발견했습니다. 이는 동일한 참조 맥락 하에서 국소적인 파라미터 변화가 보완적인 참조 정렬 보정을 드러낸다는 것을 의미합니다.

연구진은 이러한 보정을 학생이 방문한 상태에 대한 감독으로 전환하기 위해 인접 영역 자기 증류(Neighborhood OPSD, N-OPSD)를 제안했습니다. N-OPSD는 다양한 참조 위치에서 보정을 제공하는 여러 전문가들의 풀을 활용하며, 오프라인 단계에서는 필터링된 참조 토큰 이득을 보상하여 고정된 전문가 풀을 구축합니다.

온라인 단계에서는 최대 피크(MaxPeak)와 분위수 선택(quantile selection)을 사용하여 앵커 방향과 지원 수준을 분리함으로써, 앵커 방향과 지원 수준을 분리하여 분리합니다. 이 과정을 통해 학생은 선택된 전문가의 전체 다음 토큰 분포를 학습하게 됩니다.

이러한 방법론을 통해 N-OPSD는 OPSD 대비 Qwen3-1.7B, 4B, 8B 모델에서 평균@12 지표를 각각 2.75, 1.67, 1.94 포인트 향상시켰습니다. 이는 AIME 2024, AIME 2025, HMMT 2025년 2월 벤치마크에서 달성된 결과이며, 풀 내의 중복과 상태별 라우팅을 고려하여 학생의 정확도를 더욱 개선했습니다.

실제 환경에서의 신체화된 작업은 물리적 제약 하에서 객체와 작업 상태를 추적하며 행동해야 하므로 도구 사용에 대한 이해가 필수적입니다. 많은 일상적, 전문적 활동이 도구에 의해 매개되므로, 이러한 이해를 위해서는 어포던스, 손-도구-객체 기하학, 절차적 진행, 목표 객체에 대한 인과적 효과에 대해 추론해야 합니다. 하지만 현재 멀티모달 비디오 모델들은 자막 생성이나 일반적인 비디오 QA와 같은 지각 중심 비디오 작업에서는 강한 성능을 보였음에도 불구하고 이러한 도구 중심의 신체화된 추론에는 한계가 있습니다.

이러한 격차를 해소하기 위해 연구진은 신체화된 도구 사용 이해를 위한 최초의 포괄적인 모음인 EgoTools를 소개했습니다. EgoTools는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다. 첫 번째는 도구 중심의 신체화된 녹화 100시간 분량의 대규모 코퍼스인 EgoTools-Data이며, 이는 동기화된 오디오, 상세 자막, 추론 중심의 내레이션, 보조 3D 정보를 포함합니다. 두 번째는 지각과 기하학에서 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 1,000개의 QA 쌍으로 구성된 진단 벤치마크인 EgoTools-Bench입니다.

실험 결과는 현재 모델들이 시각적 증거를 통해 도구 사용을 구체화하는 데 여전히 어려움을 겪고 있음을 보여줍니다. 예를 들어, Gemini-3.1-Pro는 전체 정확도 66.9%를 달성했지만 지각 및 정렬(Perception & Grounding)에서는 51.7%에 불과했습니다. 또한 EgoTools-Data를 훈련 자원으로 검증한 결과, 엄격한 소스-비디오 분리 조건 하에서 전체 지도 미세 조정은 Qwen3-VL-8B-Instruct의 정확도를 50.0%에서 60.9%로 향상시켰습니다.

이러한 결과들을 통해 EgoTools는 실제 환경에서의 신체화된 도구 사용 이해에 대한 훈련과 진단 평가를 위한 통합된 자원으로 자리매김합니다.

선호도 증류(Preference Distillation)에서 일반적으로 교사 응답을 선호하고 학생의 응답을 거부로 간주하는 방식은, 스스로 생성한 실패가 가장 유용한 부정적 샘플이며 거부 역시 학생 모델과 동일하거나 더 큰 모델에서 나와야 한다는 가정을 전제로 합니다. 그러나 연구 결과는 이러한 가정이 성립하지 않음을 보여줍니다. 7B에서 72B 크기의 학생 모델에 대해, 더 작은 고정된 모델들이 적은 추론 컴퓨팅으로 거부 샘플을 생성하면서, 자체 생성 거부보다 더 강력한 학생 모델을 훈련시킨다는 사실을 발견했습니다.

이러한 결과를 설명하기 위해 연구진은 선형화된 특징 모델에서의 직접 선호 최적화(Direct Preference Optimization, DPO)에 대한 유한 지평 효용 경계(finite-horizon utility bound)를 도출했습니다. 이 경계는 유리한 거부 분포를 특징짓고 세 가지 개입 방안을 제시합니다. 첫째, 더 작은 모델과 학생 규모 모델의 거부를 혼합하면 작은 모델의 비중이 증가함에 따라 성능이 향상됩니다. 둘째, 거부를 다른 프롬프트에 재할당하거나 코드 토큰을 섞는 것이 길이 일치형 엉터리(gibberish)보다 우수하며, 이는 작업 구조가 거부 효용에 기여함을 보여줍니다.

세 번째 개입 방안은 참조 정책 하에서 더 낮은 가능성을 가진 후보를 선택하는 것입니다. 이는 더 높은 가능성을 가진 후보가 덜 유용한 대조를 제공할 때, 낮은 가능성 선택이 모든 소스에 대해 더 나은 순이익을 제공함을 의미합니다. 이러한 결과는 효과적인 거부가 작업 구조를 보존하면서 참조 정책과의 결합을 제한해야 하며, 더 작은 고정된 모델이 낮은 비용으로 이러한 거부를 제공할 수 있음을 시사합니다.

로봇 학습의 발전에도 불구하고, 신뢰할 수 있는 실행을 위해서는 현재 관측만으로는 알 수 없는 숨겨진 작업 상태에 대한 정보가 필수적입니다. 따라서 로봇 정책의 안정적인 실행을 위해서는 상호작용 기록, 즉 메모리 보존이 중요합니다.

이러한 문제를 평가하기 위해 연구진은 부분 관측 가능성 하에서의 조작 메모리를 평가하는 벤치마크인 HIDE를 제안했습니다. HIDE는 반복 횟수 계산, 과거 상태 회상, 실행 진행 추적 등 15가지 작업을 포함하며, 유사한 관측이 이전 사건에 따라 다른 행동을 요구하는 상황을 다룹니다.

연구팀은 이러한 메모리 보존과 실행 상태 추적을 위해 세 가지 상호 보완적인 메모리 메커니즘을 결합한 프레임워크인 SEEK를 제안했습니다. 실험 결과 기존 정책들은 HIDE에서 상당한 한계를 보였으나, 메모리 증강을 통해 시뮬레이션 및 실제 환경에서의 작업 성공률이 향상되었습니다.

개별 메모리 메커니즘은 특정 작업에만 이점을 제공하지만 다른 작업에서는 성능을 저하시킬 수 있으며, 이들을 결합했을 때 평가된 구성 중에서 가장 높은 평균 성공률을 달성했습니다. 이는 숨겨진 작업 상태의 내부 표현을 유지하고 메모리 설계를 특정 작업의 정보 요구 사항에 맞추는 것이 중요함을 시사합니다.

스트리밍 월드 모델이 반복적인 방문에서 장소의 일관성을 유지하도록 렌더링하는 것은 중요합니다. 이러한 재방문(revisits)을 직접 감독하려면 종종 분 단위에 걸친 두 방문을 포괄하는 훈련 샘플이 필요하지만, 전체 구간에 대한 밀집된 어텐션은 이차 비용을 발생시켜 장거리 감독을 비싸게 만듭니다.

Memorizon은 이러한 비용과 감독 요구 사항 사이의 결합을 해소합니다. 이 방법은 감독에는 긴 구간이 필요하지만 어텐션에는 필요하지 않다는 점을 활용하여, 두 방문이 모든 중간 프레임을 포함하지 않고도 순방향 패스를 공유할 수 있게 합니다. 훈련 샘플은 길이와 관계없이 점수만 마지막 k개의 청크에 대해서만 받으며, 각 점수화된 청크는 이전 기록을 토큰화하는 대신 카메라 공시성(co-visibility)을 통해 자체적인 상위 K개의 잠재 벡터를 검색하여 공유 뱅크를 형성합니다.

이 공유 뱅크는 kK로 제한되어 시퀀스가 제한되므로, 가장 짧은 구간에서는 기존의 훈련 방식과 동일합니다. 뱅크를 추가하는 것은 한 번의 단계 비용을 증가시키지만, 더 긴 구간에서는 비용이 적으며 100초에서 400초로 늘릴 때 단계 시간은 12%만 증가합니다. 또한, 슬라이딩 윈도우 기준과 비교했을 때 검색은 모든 분할에서 재방문 일관성을 높이며, 각 복귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%의 추가 비용을 발생시킵니다.

다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하여 모델이 검색된 정보를 활용하게 됩니다.

다중 보상 강화 학습은 대규모 언어 모델이 여러 행동 목표를 동시에 만족하도록 훈련하는 데 사용됩니다. GDPO에서 사용되는 보상별 정규화는 롤아웃 그룹 내에서 보상별 상대 정보를 보존하지만, 서로 다른 목표들이 학습 진행에서 불균등한 결과를 보일 수 있습니다. 연구진은 이러한 현상을 배치 수준의 신호 불균형으로 분석하기 위해 보상의 제곱 가치(advantage)의 합인 '이점 에너지(advantage energy)'를 측정했습니다.

이점 에너지는 보상이 비영가치한 상대적 이점을 제공하는 롤아웃 그룹의 비율인 '활성 그룹 밀도(active-group density)'에 비례함을 발견했습니다. 이는 배치 수준에서 보상 기여도를 보정할 수 있는 근거를 제공하며, 이를 바탕으로 밀도 인식 보상 집계(Density-Aware Reward Aggregation, DARA) 방법을 제안했습니다. DARA는 롤아웃 배치마다 가중치를 계산하여 훈련 중 보상 활동 변화에 적응하며 기본 정책 최적화 목표를 변경하지 않습니다.

DARA는 덜 빈번하게 활성화되는 보상 신호에 더 큰 가중치를 부여하는 역제곱근 밀도 보정(inverse-square-root density correction)을 사용하여 보상 기여도를 조정합니다. 도구 호출 및 수학적 추론 실험에서 DARA는 GDPO보다 더 빠르게 목표 행동을 학습했습니다. 도구 호출의 경우 훈련 단계가 최대 26% 줄어들어 높은 형식 준수를 달성했으며, 수학적 추론의 경우 훈련 단계가 최대 65% 줄어들어 거의 포화된 길이 준수를 달성하면서도 최종 성능은 경쟁력을 유지했습니다.

멀티모달 플로우(Multimodal Flow)는 언어와 시각을 처리하는 완전 연속적 생성 모델로, 기존의 통합 멀티모달 모델들이 직면했던 데이터 처리의 제약 문제를 해결합니다. 대부분의 통합 모델은 언어와 양자화된 이미지를 이산 토큰으로 모델링하거나, 모달리티별 목표와 샘플링 절차를 요구하여 시각 양자화 병목 현상이나 복잡한 조건부 학습 문제를 발생시킵니다.

멀티모달 플로우는 이러한 트레이드오프를 피하고 공유 생성 프로세스를 가능하게 하는 통합 연속 아키텍처를 도입합니다. 이 모델은 멀티모달 연속 표현을 통합하고 공유 청크 인과 흐름 백본(chunk-causal flow backbone)을 활용하여, 텍스트 블록과 이미지를 순서가 보존된 연속적인 하이퍼청크로 조직합니다. 백본은 플로우 매칭(Flow Matching)을 통해 이 하이퍼청크 전체에 걸쳐 단일 벡터장을 학습하며, 공동 주의(Joint attention)를 통해 모달리티 간 상호작용을 가능하게 합니다.

MF-1 모델을 멀티모달 데이터로 사전 학습시킨 결과, 150B의 사전 학습 토큰만으로도 GenEval 및 DPG-Bench에서 82.8점, VQAv2, MMBench, POPE에서 75.3점을 달성하며 데이터가 훨씬 많은 통합 모델과 경쟁할 만한 성능을 보였습니다. 이는 데이터, 최적화 및 파라미터 예산이 일치할 때, 멀티모달 플로우가 대표적인 하이브리드 및 이산 모델보다 더 우수한 성능을 입증한 결과입니다.

이 연구 결과는 연속적인 청크 기반 임베딩 흐름 모델링이 통합 멀티모달 모델링을 위한 새로운 완전 연속 패러다임임을 확립합니다. 관련 코드와 모델은 https://github.com/hustvl/Multimodal-Flow에서 공개되어 있습니다.

개인화된 이미지 생성은 현재 큐레이션된 시각적 예시로부터 조건부 합성에 국한되어 사용자 자신을 포착하는 데 한계를 보여왔습니다. 하지만 실제 사용자들은 시간 경과에 따라 축적된 리뷰, 게시물, 이미지, 캡션 및 메타데이터를 포함하는 훨씬 더 풍부한 개인적 맥락을 가지고 있으며, 진정한 개인화된 생성기는 이러한 기록을 활용하여 사용자의 라이프스타일과 미적 선호도에 맞는 이미지를 생성해야 합니다.

이러한 목표를 달성하기 위해 사용자 기록으로부터 개인화된 이미지 생성을 위한 최초의 통합 벤치마크가 소개되었습니다. 이 벤치마크는 목표 충실도, 시각적 품질, 사용자 구별 가능성, 사용자의 기록과의 의미적 정렬, 그리고 작업별 유용성을 평가하는 다축 평가 프로토콜과 두 가지 상호 보완적인 작업으로 구성됩니다. 구체적으로는 사용자의 선호도와 라이프스타일을 반영하는 장면을 배치하는 개인화된 장면 생성과 소셜 미디어 콘텐츠 제작에 의해 동기 부여된 사용자의 미적 및 시각적 정체성에 충실한 새로운 이미지를 생성하는 개인화된 창의적 생성이라는 두 가지 작업이 포함됩니다.

연구진은 또한 차별적인 데이터 보상을 통해 최적화된 상호 교차적인 추론-반성 루프 내에서 멀티모달 추론기와 고정된 이미지 생성기를 결합한 PEARL 모델을 제안했습니다. 이 모델은 두 작업 모두에서 강력한 기준 모델을 능가하며 개인화 측정 지표에서 평균 15%의 개선을 달성했습니다. 이는 사용자 기록을 기반으로 한 이미지 생성의 새로운 기준을 제시하며 개인화된 AI 모델 개발에 중요한 기반을 제공합니다.

AI 리뷰어가 동일한 과학적 내용을 다른 표현으로 보고한 원고에 대해 다른 판단을 내릴 수 있어 과학적 개선보다 수사적 최적화에 보상을 줄 수 있다는 문제가 제기되었습니다. 연구진은 이러한 문제를 해결하기 위해 수사적 견고성(Rhetorical Robustness)을 내용 보존 재작성에서의 안정성과 논문 간의 차별화라는 두 가지 요구사항의 결합으로 정의했습니다.

이를 검증하기 위해 1,260개의 원고 버전을 포함하는 통제된 전체 원고 벤치마크인 RobustReview를 구축하고 30가지 리뷰어 구성을 평가했습니다. 이 벤치마크 결과는 낮은 재작성 민감성이 다른 논문 간의 점수 붕괴와 일치하는 '거짓 견고성(false robustness)'이 존재하며, 인간의 정렬과 수사적 견고성이 리뷰어를 다르게 평가함을 보여줍니다.

이러한 발견에 따라 연구진은 전체 원고 평가와 추출된 구조화된 과학 핵심에 기반한 평가를 결합하는 이중 분기 리뷰어인 SciCore를 도입했습니다. SciCore는 원고 수준 평가와 수사적 민감도를 줄이려는 내용 정규화된 관점을 결합하여 평가합니다.

GPT-5.5 비교에서 SciCore는 벤치마크된 리뷰어들 사이에서 선도적인 안정성-차별화 프로파일을 달성하면서도 경쟁력 있는 인간 정렬을 유지했습니다. 이는 수사적 견고성을 별도의 평가 대상으로 식별하고 과학 핵심 리뷰가 이를 개선할 잠재력을 보여준다는 것을 입증합니다.

더빙 품질 관리를 위해서는 더빙 오디오가 아직 존재하지 않는 상황에서도 조용한 비디오와 텍스트만을 사용하여 후보 텍스트 라인이 화자의 시각적 발음 내용과 타이밍을 일치하는지 판단할 수 있는 참조 없는 판단 기준이 필요합니다. 기존의 시각 음성 인식 모델이나 비디오-언어 모델은 입 모양 움직임에서 음성을 복구하도록 미세 조정하더라도 시간적 오류에 둔감하다는 한계가 있습니다.

이에 연구진은 다국어 입 모양 동기화 판단 모델인 Align Then Reason(ATR)을 제안했습니다. ATR은 먼저 프레임 수준의 입 모양 표현과 후보 라인의 음성 단위 사이에 단조로운 정렬을 확립한 다음, 이 정렬을 바탕으로 추론하여 최종 판단을 내립니다. 정렬 점수는 각 음성 단위에 대한 국소적 증거와 보정된 전역 정렬 점수를 LLM에 제공하여 내용과 타이밍에 대해 공동으로 추론할 수 있게 합니다.

이 방법은 7개 언어 벤치마크에서 Qwen3.5 SFT 기준 모델 대비 2B, 4B, 9B 추론기에서 각각 평균 AUC를 59.4%, 50.2%, 50.8% 향상시켰습니다. 또한 이 성능 향상은 LLaMA-3.1-8B와 Mistral-7B의 최고 기준 모델 대비 평균 AUC 45.9%와 46.6%의 개선으로 LLM 계열 전반에 걸쳐 일반화됩니다.

실제 더빙 라인에서 평가한 결과 ATR-9B는 최고의 입 모양 읽기 기준선보다 더빙 라인 재순위 지정에서 52.0%의 성능을 보였으며, 스크립트-클립 할당 작업에서는 17.7% 향상되었습니다. 이는 ATR이 실제 더빙 작업에 적용될 때도 강력한 성능을 발휘함을 보여줍니다.

대표적인 표현 정렬(REPA) 방법은 DINOv2나 CLIP 같은 의미론적 인코더를 정렬 대상으로 사용하지만, 실제 정렬 효과는 전역 의미론이 아닌 공간 구조에서 발생한다는 분석이 있습니다. 따라서 공간 구조를 예측하는 밀집 예측 기반의 파운데이션 모델들이 REPA의 타겟으로 간과되어 왔습니다.

본 논문은 이러한 한계를 극복하기 위해 PixelDense를 제안하며, 이는 DINOv2와 SAM2를 의미론적 투영 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 투영 스트림으로 분리하여 처리합니다. 또한 가중 공간 직교성 패널티를 추가하여 두 스트림이 서로 분리된 부분 공간에 머물도록 합니다.

PixelDense는 학습 중 네 개의 교사 모델을 동결하고 추론 시 제거하는 방식으로 적용되었으며, PixelGen 및 DeCo에 적용했을 때 GenEval, DPG-Bench, HPS v2.1 성능을 개선했습니다. 특히 PixelGen-XXL의 GenEval 전체 점수를 0.7927에서 0.8093으로 향상시켰으며, 모든 단일 교사 및 비구조화된 다중 교사 변형 모델을 능가했습니다.

부분 노이즈 재구성 작업에서는 독립적인 범판(panoptic), 깊이, 표면 법선 탐지 결과, $\tau=0.5$에서 COCO 및 Flickr30K 데이터셋에 걸쳐 최대 53.1%의 PQ 이득과 36.0%의 깊이 절대 상대적 감소를 보였습니다. 또한 SDEdit 편집 작업에서는 모든 편집 강도에서 원본 배경과 레이아웃을 더 많이 유지하여 배경 PSNR을 최대 2.2 dB 향상시켰습니다.

dexterous manipulation을 위한 강화 학습(RL)은 손가락과 물체의 접촉을 발견한 후 물체를 정밀하게 제어해야 하는데, 초기 목표 달성을 위한 행동 노이즈가 후속 제어에 방해가 될 수 있습니다. 특히 인간 비디오에서 손-물체 궤적을 정제하는 ViViDex와 같은 궤적 기반 설정에서, RL 모델은 500만 스텝 이후 초기 행동 노이즈 근처에 도달하는 경향이 있어 탐색 범위에 대한 명시적인 제어가 필요합니다.

DexPolicy는 이러한 탐색 규모를 훈련 스텝의 명시적인 함수로 만들어 손실, 아키텍처, 보상, 최적화 설정은 고정하면서 탐색을 넓은 범위에서 좁은 범위로 점진적으로 조정합니다. 연구진은 PPO, 비평가 없는 GRPO 연속, 흐름 매개변수화 PPO(FPO) 변형 세 가지 정책 최적화 설정을 비교했습니다.

다섯 가지 YCB 물체와 세 가지 훈련 시드에서 평균 결정적 목표 성공률은 FPO에서 49.4%에서 68.1%로, GRPO에서 14.1%에서 45.4%로, PPO에서 32.0%에서 35.7%로 상승했습니다. RealMan RM75 팔과 Inspire/RH56 손을 사용하여 360회의 실험을 진행한 결과, PPO 구성 요소 선별은 노이즈 제어에 유리했으며, 선택된 PPO 스케줄은 동일한 끝점에서의 선형 감쇠보다 더 높은 평균 목표 성공률을 보였습니다.

훈련 수익, 결정적 목표 성공률, 실행 노이즈 허용도는 분리되므로, 스케줄은 특정 작업과 정책 최적화 설정에 따른 최종 작업 성공률을 기준으로 판단해야 합니다. 이는 훈련 과정의 평가 기준이 최종 목표 달성에 초점을 맞춰야 함을 시사합니다.

로봇이 객체와 사람들의 상호작용을 관찰할 때, 과거의 상호작용을 참조하는 후속 요청을 처리할 수 있어야 합니다. 이러한 요청은 객체의 이름이나 외모가 아닌 과거 이벤트에서의 역할에 기반하여 파지 목표를 지정할 수 있으며, 목표물이 현재 시점에서 보이지 않을 수도 있습니다. 이러한 이벤트 참조 환경을 위한 제로샷 로봇 파지 시스템인 BeyondSCe를 제시합니다.

이 시스템은 이벤트 기록과 현재 장면 지오메트리를 활용하여 요청된 객체나 부분을 식별하고 파지를 위해 위치를 파악합니다. 만약 목표물이 가려져 있다면, 시스템은 기록에서 복구된 이벤트 정보와 현재 장면 기하학을 결합하여 목표물을 드러낼 가능성이 높은 카메라 시점을 선택합니다. 이 시스템은 추가적인 작업별 훈련 없이 사전 훈련된 모델을 사용합니다.

실제 로봇 실험에서 단일 손목 장착 RGB-D 카메라를 사용하여 테스트했을 때, 초기에는 보이는 목표물에 대해 76%, 가려진 목표물에 대해 77%의 파지 성공률을 달성했습니다. 이는 각 조건에서 가장 강력한 기준선인 40%와 55%보다 높은 수치입니다.

특히 심한 가림이 있는 네 가지 추가 장면에서는 파지 성공률을 75%에서 95%로 높였으며, 활성 인식 기준선과 비교했을 때 평균 뷰 수를 3.35에서 2.20으로 줄였습니다. 이는 목표물의 실제 3D 경계 상자 정보를 활용하여 효율적인 시점 선택이 가능함을 보여줍니다.