읽을 가치가 있는 기사만, 짧고 또렷하게.

텍스트 임베딩 파이프라인을 대규모 언어 모델(LLM)로 대체해야 하는지에 대한 비용 및 성능 비교 연구 결과가 발표되었습니다. 이 연구는 118M에서 14B 매개변수를 가진 26개의 임베딩 모델과 10개의 LLM을 37가지 작업(분류, 의미적 텍스트 유사성(STS), 클러스터링, 쌍 분류, 검색)에 걸쳐 비교 분석했습니다. 결과적으로 두 패러다임은 실질적으로 동등한 성능을 보였으며, 최고 LLM인 Gemini 3.1 Pro와 최고 임베딩 모델은 0.4점 차이만 보였습니다.

하지만 각 모델의 강점은 작업에 따라 명확하게 구분되었습니다. LLM은 추론이 필요한 검색 작업에서 우위를 보였고, 임베딩 모델은 분류 작업에서 더 뛰어난 성능을 보였습니다. 반면, 클러스터링, STS, 쌍 분류와 같은 작업에서는 두 모델이 동등한 결과를 나타냈습니다.

이러한 성능 균형을 달성하는 것은 비용적으로 매우 비효율적입니다. 동등한 품질의 임베딩 모델에 비해 LLM은 최대 1,431배 더 많은 비용이 발생하며, 동일한 GPU에서 토큰 처리는 2.5배에서 736배 더 느립니다. 특히 추론 토큰은 LLM 추론 비용의 28%에서 81%를 차지하므로, 추론 예산을 줄이는 것이 검색 품질을 유지하거나 개선하는 데 중요합니다.

따라서 연구진은 임베딩 모델을 유사성, 분류, 클러스터링 작업에 사용하고 LLM은 추론 집약적인 검색에 할당하는 작업 분담을 권장합니다. 이 연구의 코드, 데이터셋 및 결과는 공개되어 있으며, 관련 내용은 https://github.com/embeddings-benchmark/embedders-dilemma에서 확인할 수 있습니다.

장편 비디오 이해는 개별 사건을 검색하는 것을 넘어 진화하는 서사를 추적하고 암묵적으로 남아있는 사회적 의미를 해석하는 작업을 포함합니다. 하지만 기존의 벤치마크들은 특히 고맥락의 비영어 미디어에서 이러한 능력을 공동으로 평가하는 경우가 거의 없습니다. 이러한 격차를 해소하기 위해 연구진은 일본 장편 비디오의 서사 진화와 문화적 이해 추론을 평가하기 위한 벤치마크인 NARU를 소개합니다.

NARU는 155개의 비디오, 총 146.8시간에 걸쳐 1,481개의 질문으로 구성되어 있으며 네 가지 서사 및 다섯 가지 문화 차원을 포괄합니다. 이 벤치마크를 구축하기 위해 연구진은 원본 비디오를 구조화된 사건, 서사, 문화 주석으로 변환하는 계층적 메모리 기반 주석 파이프라인을 제안했습니다. 이 과정에는 태스크 지향 합성 및 반복적인 단축물 제거를 통해 질문을 생성하는 단계가 포함되었으며, 68명의 원어민 검증자 참여를 통해 구축되었습니다.

다양한 모델 구성에 대한 평가 결과는 장거리 서사 통합과 문화적으로 근거한 추론 모두에서 상당한 한계를 드러냈습니다. NARU는 이러한 지속적인 격차를 노출함으로써 장편의 고맥락 비디오를 신뢰성 있게 해석할 수 있는 MLLM 개발을 위한 체계적인 테스트 환경을 제공합니다.

에이전트 스킬은 현재 수동으로 작성되거나 단일 LLM 생성 과정에서 만들어지기 때문에 상호작용 실패로부터 개선할 수 있는 폐쇄 루프가 없습니다. 최근 연구들은 이 루프를 닫으려 시도했지만, 단일 턴 질문 응답 평가에서 피드백을 얻는 방식은 심각한 비대칭성을 초래합니다. 한 번의 교환으로 드러난 격차를 첫 번째 단계에서 메우면, 진화 기울기는 감소하고 여러 턴에 걸쳐 나타나는 결함은 보이지 않으며 진화가 정체됩니다.

시스템의 거버넌스 역시 종단 간 검증 점수라는 스칼라 게이트에 의해 주도되는데, 이는 후보를 거부할 수는 있지만 구조적 원인을 국소화하거나 복구할 수는 없습니다. 연구진은 지속적인 스킬 진화에 대한 제약은 편집 능력이나 반복 횟수가 아니라 평가 피드백이 신뢰할 수 있는 진화 기울기를 계속 제공하는지에 달려 있다고 주장합니다.

이에 연구진은 SkillEvo를 제안하며, 신뢰할 수 있는 피드백이 기울기를 생성하고 제어 가능한 거버넌스가 그 방향을 제한하도록 합니다. SkillEvo는 다중 턴 사용자 시뮬레이션을 피드백 생성기로 전환하여 수정의 각 라운드가 피드백을 소비하고 새로운 피드백을 생성하도록 합니다. 또한, 스칼라 게이트의 수동 거부를 대체하여 사실적 저하와 구조적 팽창을 적극적으로 복구하는 독립적인 거버넌스 계층을 도입하여 저하가 축적되더라도 기울기가 표류하는 것을 방지합니다.

이러한 접근 방식은 6가지 클라우드 서비스 범주, 9개의 프로덕션 스킬, 98개의 스킬 참조 파일에 걸쳐 자기 성찰 기반 진화보다 23.0점, 단일 턴 QA 기반 진화보다 15.4점 높은 성능을 보였습니다.

심전도(ECG), 광혈류 측정(PPG), 그리고 음성심장학(PCG)은 동일한 심장 주기 정보를 제공하지만, 기존의 심장 기반 모델들은 단일 센서 모달리티로만 학습되어 센서 간 공유되는 생리학적 정보를 활용하지 못했습니다. 이에 연구진은 ECG, PPG, PCG 세 가지 모달리티 전체에 걸쳐 단일 공유 표현을 학습하는 심장 기반 모델인 CardioState-JEPA를 제안했습니다.

CardioState-JEPA는 생리학적으로 인식하는 결합 임베딩 예측 아키텍처를 기반으로 하며, 이질적인 파형들을 공통 토큰 공간으로 매핑하고 단일 공유 트랜스포머 인코더로 처리하여 학습합니다. 모델은 센서별 파형의 외관보다는 공유되는 생리학적 상태를 예측하는 것을 목표로 하며, 시간적 오프셋을 처리하기 위해 학습된 지연 정렬기(delay aligner)를 사용하여 전기적, 기계적, 혈역학적 사건들을 해당 심장 시간으로 일치시킵니다.

이러한 접근 방식은 모달리티 간 동기화된 다중 센서 기록이 부족한 상황에서, 단일 모달리티 내 구조로부터 학습한 후 쌍별 데이터를 사용하여 잠재 심장 시간에서 모달리티를 정렬하는 방식으로 이루어집니다. 평가 결과, 이 인코더는 ECG, PPG, PCG에 걸친 25가지 다운스트림 작업에서 최고 자체 지도 신호 기준선 대비 PPG 분류에서 8.2 AUROC 포인트, PCG 잡음 탐지에서 18.8 AUROC 포인트, ECG 분류에서 15.5 AUROC 포인트를 개선했습니다.

이는 이질적인 심장 신호들이 단일 심장 생리학적 기반 모델을 상호 감독할 수 있음을 입증하며, 다양한 심장 신호가 공유된 심장 생리학적 모델을 구축하는 데 활용될 수 있음을 보여줍니다.

잠재 공간 기반 비디오 생성은 오토인코더에 의존하지만, 기존 비디오 오토인코더의 잠재 공간은 픽셀 수준 재구성에 최적화되어 있어 고수준의 의미론적 조직화가 부족합니다. 이에 본 연구는 고정된 비전 파운데이션 모델 표현 위에 압축적인 생성 잠재 공간을 구축하는 비디오 표현 오토인코더인 V-RAE를 제안합니다. V-RAE는 시간적 중복성을 제거하면서 의미 구조를 보존하는 경량의 시간 풀링 모듈과 압축된 특징으로부터 연속적인 움직임을 재구성하는 비디오 디코더를 포함합니다.

V-RAE는 비디오 재구성, 의미론적 탐색, 클래스 조건부 생성에 대해 평가되었으며, K600에서 2.13 rFVD를 달성하여 평가된 모든 대규모 사전 학습 비디오 VAE를 능가했습니다. 또한, V-RAE의 잠재 공간은 기존 비디오 토크나이저 잠재 공간보다 훨씬 더 많은 의미 정보를 유지합니다. 생성 설정이 일치하는 조건에서, 이 모델은 UCF101과 K600에서 각각 117.86과 19.16의 gFVD 점수를 달성하며 최대 6배 빠른 속도로 수렴합니다.

연구진은 재구성 품질만으로는 생성 유용성을 완벽하게 측정하기 어렵다는 점을 지적하며, 다운스트림 생성 품질과 더 신뢰성 있게 상관관계를 갖는 시간 일관성 진단 지표인 tFVD를 도입했습니다. 나아가 V-RAE는 Cityscapes 데이터셋에서 Wan 2.2 VAE 잠재 공간을 기반으로 미래 비디오 예측 성능을 향상시켰습니다.

이러한 실험 결과는 고정된 의미론적 표현이 비디오 재구성, 생성, 예측 모델링을 모두 지원할 수 있음을 보여줍니다.

문서 파싱은 비정형 문서를 구조화되고 기계가 읽을 수 있는 형태로 변환하는 것을 목표로 합니다. 최근 비전-언어 모델(VLM)의 발전은 문서 파싱 분야를 크게 진전시켰으나, 기존 접근 방식들은 여전히 두 가지 주요 문제에 직면해 있습니다. 첫째, 분리된 VLM 기반 방법들은 정확한 레이아웃 분석에 크게 의존하는데, 카메라로 촬영된 문서의 기하학적 왜곡이 연쇄적인 오류를 발생시킬 수 있습니다. 둘째, 종단 간(end-to-end) VLM 기반 방법들은 명시적인 레이아웃 감지에 대한 의존도를 완화하지만, 고해상도 시나리오에서 중복 생성, 환각 현상, 그리고 불충분한 구조적 추론 문제를 겪습니다.

이러한 문제들을 해결하기 위해 연구진은 문서 파싱을 위한 통합 프레임워크인 NaviDC-OCR을 제안했습니다. NaviDC-OCR은 VLM에 기하학적 인식을 통합하는 변형 인식 학습(deformation-aware learning)을 도입하고 복잡한 레이아웃 표현을 위한 적응형 샘플링 메커니즘을 제안합니다. 또한, 공식 문법과 표 구조를 명시적으로 모델링하여 보다 효과적인 구조적 표현 학습을 가능하게 하는 내용-구조 분리 학습 전략을 개발했습니다.

광범위한 실험 결과, NaviDC-OCR은 다양한 문서 파싱 벤치마크에서 최고 수준의 성능을 달성했습니다. 이 모델은 OmniDocBench v1.6에서 96.87점, Wild-OmniDocBench에서 88.53점, PureDocBench에서 78.41점을 획득했으며, ICDAR 2026 Sci-ImageMiner 챌린지에서 1위를 차지했습니다. 이러한 결과는 복잡한 문서 파싱 시나리오에서 NaviDC-OCR의 효과와 일반화 능력을 입증합니다.

추론 모델에서 정확한 답변과 관련된 추론 행동은 무엇이며, 추론 지향 훈련이 이러한 행동을 증폭시키는지에 대한 연구 결과가 발표되었습니다. 이 연구는 추론 지향 훈련이 모델의 정확도와 가장 밀접하게 관련된 행동을 증폭시키지 않으면서 추론 과정을 더 신중하게 보이게 만들 수 있다는 점을 강조합니다.

연구진은 행동 리프트(Behavioral Lift)라는 측정 지표를 사용하여 이러한 불일치를 정량화했습니다. 행동 리프트는 모델의 추론 과정에 특정 행동이 존재할 때와 없을 때 정확도가 얼마나 변하는지를 측정합니다. 텍스트 전용 및 비전-언어 추론을 포함한 15개 모델과 6개 벤치마크에서 15,282개의 추론 흔적을 분석한 결과, 추론 모델은 자기 수정(self-correction), 가설 테스트(hypothesis testing), 불확실성 인정(uncertainty acknowledgment)과 같은 행동을 강하게 증폭시키는 것으로 나타났습니다.

하지만 가장 높은 리프트(highest-lift)를 보이는 행동들은 신뢰도 보정(confidence calibration), 지식 정렬(knowledge alignment), 자기 인식(self-awareness)이었습니다. 특히 신뢰도 보정은 두 양식 모두에서 정확도의 가장 강력한 긍정적 신호이지만 증폭이 거의 일어나지 않았습니다. 반면, 불확실성 인정은 3배에서 7배 증폭되었음에도 불구하고 정확도와는 약하거나 부정적인 연관성을 보였습니다.

결론적으로 추론 지향 훈련은 가장 높은 리프트 행동들을 선호적으로 증폭시키지 않는다는 사실이 밝혀졌습니다. 이는 표면적인 형태뿐만 아니라 보정되고 근거 있는 추론을 보상하는 프로세스 수준의 목표를 설정해야 함을 시사합니다.

의회 기록은 민주적 숙고의 주요 기록이지만, 방대한 양과 파편화로 인해 시민, 기자, 연구자들이 다각적인 접근을 하는 데 어려움이 있습니다. 따라서 의회 기록에 검색 증강 생성(RAG)을 적용할 경우, 가장 빈번한 발언자의 지배, 주제별 전문성에 따른 화자 가중치 부여 불가, 정치적으로 민감한 텍스트에서의 인용 오류라는 세 가지 위험이 발생할 수 있습니다.

이러한 위험을 해결하기 위해 이탈리아 하원의원들을 위한 RAG 시스템인 ParliamentRAG가 제시되었습니다. 이 시스템의 핵심 기여는 주제에 따라 의존하는 권위 모델로, 현재 질의에 따라 각 화자의 권위를 추정하며 직업, 학력, 이전 발언과 같은 해석 가능한 구성 요소를 결합합니다. ParliamentRAG는 사용자 질의에 대해 관련 발언 조각을 검색하고 의회 그룹 전반의 주제 관련 전문가를 식별한 다음, 그들의 관점을 종합하여 지원 인용구를 포함한 요약을 생성합니다.

ParliamentRAG는 15가지 정책 주제에 대해 자동화된 지표와 6명의 도메인 전문가에 의한 블라인드 A/B 인간 평가를 결합한 이중 프로토콜을 통해 Google NotebookLM과 비교 평가되었습니다. 그 결과, ParliamentRAG는 정치 그룹 전반의 커버리지에서 더 높은 수치(0.97 대 0.95), 완벽한 인용 충실도(1.00 대 0.95), 그리고 출처 관련 차원에 대한 전문가 선호도에서 더 강한 결과를 보였습니다. 반면 NotebookLM은 산문 지향적인 차원에서 더 강력한 성능을 보였습니다.

새롭게 소개된 Mimir v1은 계층적 추론 모델(HRM) 아키텍처를 기반으로 10억 개의 매개변수를 가진 언어 모델입니다. 이 모델은 사전 훈련된 데이터가 아닌 허용 가능한 후처리 데이터만을 사용하여 처음부터 훈련되었으며, 영어 성능은 물론 덴마크어에서 새로운 최고 성능을 달성했습니다.

Mimir v1은 총 161개의 데이터셋을 혼합하여 훈련되었으며, 영어, 수학 및 코딩, 덴마크어에 걸친 20개의 벤치마크에서 경쟁력을 입증했습니다. 이 모델은 기존의 HRM-Text 1B 모델을 능가하며, Qwen 3.5 4B나 Gemma 4 E2B와 같은 더 큰 최첨단 모델들과도 경쟁합니다.

이러한 결과는 연구자들이 공개되고 윤리적으로 확보된 데이터만을 사용하여 고성능 언어 모델을 개발할 수 있다는 것을 보여줍니다. Mimir v1은 Hugging Face Hub를 통해 공개되어 개발 커뮤니티에서 접근 가능합니다.

자율적으로 경험을 학습하고 이를 정책에 내재화하는 것은 자기 진화 AI의 핵심 과제입니다. 기존의 온-폴리 정책 증류(OPSD) 방법은 특권적인 자기 교사(privileged self-teacher)를 사용하여 학생의 궤적에 대한 밀도 높은 감독을 제공하지만, 설계자가 지정한 특권적 결과물(답변, 피드백, 기술 등)에 크게 의존하여 지속적인 자기 개선에 필요한 종단 간 학습 능력과 확장성을 제한합니다.

본 연구는 이러한 한계를 극복하기 위해 잠재적 온-폴리 자기 증류(Latent On-Policy Self-Distillation, LOPD)를 제안합니다. LOPD는 특권적 맥락 자체가 경험으로부터 종단 간으로 학습 가능하도록 만들어, 기존 방식처럼 수작업으로 특권적 컨텍스트를 정의하는 대신 이를 해결합니다. 기술적으로 LOPD는 관련 경험을 검색하여 연속적인 잠재 토큰으로 구성하고 이를 자기 교사를 조건화하며, 학생은 태스크와 상호작용 기록으로부터 궤적을 생성하고 방문한 모든 접두사에서 밀도 높은 토큰 수준 감독을 받습니다.

또한 LOPD는 잠재적 맥락 학습을 안정화하고 조절하기 위해 특권 마진 목적 함수를 추가로 도입했습니다. 실험 결과 LOPD는 에이전트 도구 사용 및 코드 생성 모두에서 RLVR과 OPSD, SDPO, Skill-SD를 능가하는 강력한 성능을 보였습니다. 특히 학습 효율성 측면에서는 GRPO 및 Skill-SD보다 30% 미만의 롤아웃 예산으로 더 높은 학습 효율을 달성했습니다.

이러한 결과는 특권적 맥락을 학습 가능하게 만드는 것이 성능 향상과 효율성 증대를 위해 필수적임을 입증하며, LOPD가 에이전트 진화를 위한 보다 확장 가능하고 자기 주도적인 패러다임으로 나아가는 단계임을 제시합니다.

자율 에이전트가 장기 실험을 통해 모델과 시스템을 개선하는 능력이 증가하고 있지만, 현재의 평가는 최종 점수에만 의존하여 진정한 발전의 정도나 축적된 경험이 후속 결정에 미치는 영향을 파악하지 못한다는 한계가 있습니다. 이에 본 연구는 7개의 최첨단 모델을 36개의 장기 과제에 대해 체계적으로 평가하기 위해 새로운 프레임워크를 제시합니다. 이 프레임워크는 솔루션 프레이밍, 실행, 피드백 제어를 통해 실행 중 행동을 특징짓는 규칙 기반 지표와 과제 간 경험 재사용을 비교하여 평가합니다.

연구 결과에 따르면 현재 에이전트는 완전히 자율적인 연구자라기보다는 엔지니어링 최적화기처럼 작동합니다. 에이전트는 실용적인 해결책을 공식화하고 구현할 수 있지만, 실행에 따라 성능이 크게 달라지며 가장 강력한 해결책은 주로 기존 기술을 조정하거나 결합하는 데 의존합니다. 또한, 진정한 방법론적 참신성은 드물게 나타납니다.

성능에 대한 상세 분석 결과는 최종 결과와 관계없이 유사한 결과 뒤에 숨겨진 다양한 프로세스 병목 현상, 후속 결정에 도움이 되거나 오도할 수 있는 경험 재사용, 그리고 성능 안정성에 영향을 미치는 하네스 설계와 같은 여러 요인에 의해 성능이 형성됨을 보여줍니다. 이러한 발견은 모델 훈련, 추론 시점 전략, 경험 관리, 그리고 하네스 설계 개선을 위한 구체적인 방향을 제시합니다.

인터랙티브 자기회귀 비디오 생성은 낮은 지연 시간의 결과물과 정밀한 온라인 제어를 동시에 요구합니다. 생성 속도를 높이는 소단계 증류(few-step distillation)는 노이즈 제거 단계를 줄이지만, 온라인 제어는 생성 중에 사용 가능한 과거 정보와 제어에 의존하는 인과적 제약 조건을 부과합니다. 기존의 비디오 분포 매칭 증류(DMD) 파이프라인은 종종 양방향 교사(bidirectional teachers)를 사용하여 완전한 클립을 점수화함으로써 인과적 소학생들을 감독합니다. 이로 인해 목표에 대한 점수가 학생이 생성할 때 사용할 수 없었던 미래 프레임이나 제어에 의존하게 되어 교사 감독과 학생의 인과적 정보 집합이 불일치하게 됩니다.

이에 연구진은 컨텍스트 일치 증류(Context-Matched Distillation, CMD)라는 인과적 DMD 프레임워크를 도입하여 각 목표가 생성될 때 사용 가능한 정보와 교사 감독을 일치시킵니다. CMD는 양방향 전체 클립 점수화 대신 미래 프레임이나 제어에 접근하지 않고 각 목표를 평가하는 인과적 교사를 사용합니다. 이 인과적 교사는 교사 훈련, 학생 증류, 추론 전반에 걸쳐 일관된 인과적 공식을 확립합니다.

또한, 프리픽스 점수화(Prefix Scoring)는 각 목표를 생성한 캐시된 학생 생성 프리픽스를 사용하여 각 목표를 평가함으로써 감독을 학생의 실현된 롤아웃 컨텍스트와 일치시킵니다. 프리픽스 손상(Prefix Corruption)은 훈련 초기에 생성된 신뢰할 수 없는 프리픽스를 교란하여 이 목표-컨텍스트 일치를 보존하면서 훈련을 안정화시킵니다. 이 간단한 인과적 공식은 프레임별 및 청크별 생성, 장편 비디오 증류, 카메라 조건화 증류 등으로 자연스럽게 확장됩니다.

실험 결과는 단편 및 장편 비디오 벤치마크 모두에서 자기회귀 방법들 간에 최고 수준의 총체적 성능을 입증했으며, 시간 변화에 따른 카메라 제어 준수가 상당히 개선되었음을 보여줍니다.

텍스트-3D 생성에 사용되는 Score Distillation Sampling(SDS) 기법은 사전 학습된 확산 사전(diffusion prior)을 사용하여 렌더링된 이미지를 최적화함으로써 가능합니다. 하지만 잠재 공간 SDS(latent SDS)는 종종 구조적인 색상 인공물과 고주파 텍스처 노이즈를 발생시키는 문제가 있습니다.

연구진은 이러한 잠재 공간 SDS의 실패 모드가 VAE(Variational Autoencoder)에 의해 유발되는 픽셀 드리프트(pixel drift)에서 비롯됨을 밝혀냈습니다. 최적화된 이미지가 VAE 인코더에 의해 약하게 제약되는 픽셀 공간 방향으로 이동할 수 있기 때문에, 이미지 자체에는 눈에 띄는 인공물이 축적되면서 잠재 표현은 깨끗하고 의미 있는 상태를 유지하는 모순이 발생합니다.

이러한 문제를 해결하기 위해 연구팀은 VAE 일관성을 유지하는 경사 복구 방법인 PixSDS를 제안했습니다. PixSDS는 잠재 SDS의 선행 단계(lookahead step)를 디코딩하고 이를 사용하여 픽셀 공간 최적화를 위한 깨끗한 방향으로 활용합니다. 이를 통해 확산 모델을 재학습하거나 렌더러를 변경하지 않고도 VAE 불일치 방향에서의 움직임을 줄여줍니다.

2D 최적화 및 텍스트-3D 생성 실험 결과, PixSDS는 의미 있는 콘텐츠를 보존하면서 구조적인 인공물을 상당히 줄이는 것으로 나타났습니다. 이 방법은 VAE 불일치에 따른 노이즈를 줄이면서도 핵심적인 SDS 목표를 변경하지 않는다는 점에서 실용적인 해결책을 제공합니다. 코드는 공개되어 있습니다.

명령어 튜닝된 언어 모델은 다양한 생성 작업에서 강력한 성능을 보이지만, 최근에는 언어 모델이 과도한 자신감(verbalized overconfidence)을 보이는 현상이 나타났습니다. 특히 질문 응답 작업에서 모델의 과도한 자신감은 생성된 근거(rationale)의 일관성과 관련이 있을 수 있습니다.

본 연구는 명령어 튜닝이 생성된 답변 근거의 어휘 다양성(lexical diversity) 변화와 모델의 자신감 변화를 수반하는지 조사했습니다. 연구진은 질문 응답 벤치마크에서 세 쌍의 모델(기반 모델 및 명령어 튜닝 모델)을 평가했으며, 명령어 튜닝은 예측 정확도에는 제한적인 변화를 가져왔지만 답변 자신감은 일관되게 변화시켰고, 사후 확률 기반 보정(likelihood-based calibration)은 감소시켰습니다.

또한, 명령어 튜닝이 근거 다양성에 미치는 영향은 균일하지 않다는 것을 발견했습니다. 답변 간의 근거 다양성(cross-rationale diversity)은 일관되게 감소했지만, 표면적인 어휘 다양성(surface-level lexical diversity)은 모델과 벤치마크에 따라 방향과 크기가 다양하게 변화했습니다.

최종적으로, 답변 선택 및 근거 길이를 통제한 후에도 이러한 차이점들이 지속된다는 것을 확인했습니다. 이는 모델의 자신감과 근거 다양성이 명령어 튜닝의 서로 다른 영향을 포착한다는 것을 의미하며, 모델의 신뢰도와 다양성을 분석할 때 이 두 요소를 별도로 고려해야 함을 시사합니다.

실시간 상호작용이 필수적인 라이브 스트리밍이나 가상 아바타 등에 사용되는 포즈 기반 인간 애니메이션 생성에 있어 LiveAnimate는 획기적인 발전을 제시합니다. 기존의 확산 기반 시스템은 클립당 수 분에서 수 시간의 시간이 소요되어 반응성이 떨어졌으나, LiveAnimate는 140억 파라미터 비디오 확산 트랜스포머(DiT)를 기반으로 실시간 스트리밍과 안정적인 장기 생성 능력을 결합한 최초의 시스템입니다.

이 시스템은 두 단계의 훈련 파이프라인을 통해 개발되었습니다. 먼저 참조 기반 교사 강제 적응(Reference-Anchored Teacher-Forcing Adaptation)으로 사전 학습된 양방향 DiT를 블록 인과적 자기회귀 생성기로 변환하고, 이후 블록별 자기 강제 증류(Block-wise Self-Forcing Distillation)를 통해 샘플링 예산을 줄여 효율성을 높였습니다. 특히 장시간 스트림에서 외형을 보존하기 위해 자세 검색 싱크 어텐션(Pose-Retrieval Sink Attention, PR-Sink)이라는 경계가 있는 KV 캐시 메커니즘을 도입하여, 전체 시퀀스를 보존하지 않으면서 관련 외형 컨텍스트를 복원합니다.

이러한 설계는 메모리와 블록당 지연 시간을 스트림 길이에 관계없이 일정하게 유지하며, Ulysses 시퀀스 병렬 처리와 연산자 융합과 결합하여 두 개의 NVIDIA H100 GPU에서 19.63 FPS의 스트리밍 추론을 가능하게 합니다. 세 분 분량의 벤치마크에서 LiveAnimate는 처음 30초부터 마지막 분까지 시각적 품질과 정체성을 거의 일정하게 유지하며, 기존 시스템들이 품질 저하를 겪거나 수 시간의 오프라인 계산을 요구했던 것과 대조적입니다.

결과적으로 LiveAnimate는 상호작용이 가능한 전신 애니메이션을 위한 품질, 지연 시간, 지속 시간에 새로운 운영 지점을 확립했습니다.

대화 비디오에서 캐릭터 교체는 외모와 목소리를 동시에 전달하면서 원본의 움직임, 장면, 언어적 내용 및 오디오-비디오 타이밍을 보존해야 하는 복잡한 문제입니다. 기존 방법들은 두 양식에 대해 별도로 최적화된 모델을 사용하기 때문에 오디오-비디오 일관성을 유지하기가 어렵습니다. 이에 따라 본 연구는 스트리밍형 공동 오디오-비주얼 정체성 교체를 위한 최초의 프레임워크인 UniSwap을 제시합니다.

UniSwap은 소스 비디오, 참조 이미지, 참조 음성 클립을 입력으로 받아 단일 오디오-비주얼 확산 트랜스포머 내에서 참조 외모와 음성 음색을 전달하면서 소스 콘텐츠와 역동성을 보존합니다. 또한, 정렬된 교차 정체성 훈련 쌍의 부족 문제를 해결하기 위해 실제 클립에서 시각적 및 음성적 정체성을 제거하고 원본 클립을 재구성 대상으로 사용하는 스왑-앤-재구성 파이프라인을 도입했습니다.

모델은 양방향 백본에서 시작하여 공동 교체를 위한 인컨텍스트 사전 훈련, 블록-인과적 KV 캐시 생성(Conditional Streaming Adaptation), 노출 편향을 완화하고 블록당 샘플링 단계를 30회에서 3회로 줄이는 효율적인 자체 강제 DMD(Efficient Self-forcing DMD) 등을 통해 점진적으로 적응됩니다. 효율적인 다중 LoRA 전환(Efficient Multi-LoRA Switching)을 통해 세 가지 DMD 역할을 단일 고정 백본으로 공유하며, Feature-RoPE 분해(Feature-RoPE Decomposition)를 통해 캐시된 위치를 훈련 범위 내로 유지하여 안정적인 장기 추론을 지원합니다.

실험 결과는 강력한 오디오-비주얼 동기화, 경쟁력 있는 정체성 보존, 효율적인 스트리밍, 그리고 안정적인 장기 생성 능력을 입증합니다. 이는 개발자들이 복잡한 멀티모달 비디오 생성 작업에서 일관성을 유지하며 효율적으로 정체성을 교체할 수 있는 기반을 제공합니다.

로봇 학습에 필수적인 대규모 조작 데이터 수집이 어렵고, 인간의 시점 기반 조작 비디오는 풍부한 행동 경험을 제공하지만, 인간의 손과 로봇의 엔드 이펙터 간의 차이로 인해 다른 신체(embodiment) 간의 데이터 전이가 여전히 어렵습니다. 최근 비디오 월드 모델(Video World Models)의 발전은 인간 관찰로부터 로봇 중심의 조작 비디오를 합성하는 유망한 경로를 제시하지만, 이러한 모델들의 교차 신체 전이 능력은 아직 탐구되지 않았습니다.

이러한 한계를 극복하기 위해 본 연구는 교차 신체 인간-로봇 조작 비디오 생성 평가를 위한 벤치마크인 H2R-Bench를 소개합니다. H2R-Bench는 모델이 주어진 신체에 따라 주어지는 인간의 시점 시연을 로봇 조작 비디오로 변환하는 능력을 평가합니다. 각 벤치마크 인스턴스는 인간 시연 비디오, 목표 신체 제약 조건, 그리고 작업 목표, 행동 이벤트, 기능 접촉, 객체 반응을 포함하는 소스 기반 주석을 포함합니다.

H2R-Bench는 목표 상태 완료, 행동 이벤트 완료, 기능 접촉 전이, 신체 일관성, 일반 비디오 품질 등 다섯 가지 차원을 통해 생성된 비디오를 평가합니다. 연구 결과에 따르면, 현재의 비디오 월드 모델들은 신체 일관성, 기능적 상호작용, 작업 실행 측면에서 인간-로봇 조작 전이를 수행하는 데 여전히 한계를 보입니다. 따라서 H2R-Bench는 비디오 월드 모델이 인간-로봇 신체 격차를 해소하고 인간 조작 관찰을 로봇 중심의 훈련 자원으로 전환할 수 있는지 체계적으로 진단하는 프레임워크를 제공합니다.

자기 지도 학습 기반의 시맨틱 분할에서 어떤 유사 레이블을 신뢰할지에 대한 문제는 오랫동안 연구되어 왔습니다. 그러나 DINOv2와 같은 자기 지도 기반의 파운데이션 모델 교사(teacher)가 등장하면서, 모델의 신뢰도가 포화 상태에 도달하여 기존의 필터링 규칙이 강한 교사에게 오히려 해가 될 수 있다는 새로운 패러다임이 생겼습니다.

이에 본 논문은 교사의 신뢰도 영역을 읽는 포화 인식 기반의 유사 레이블 선택 방법인 CW-BASS v2를 제안합니다. 이 방법은 보정된 홀드아웃 보정치와 클래스별 노이즈 추정치를 결합하고, 보존율이 1에서 벗어나도록 보장하는 자체 적응형 신뢰 하한선을 결합하여 적용합니다.

CW-BASS v2는 홀드아웃 슬라이스에서 교사의 자신감 집합의 신뢰도($\pi_{kept}$)를 측정하여 요구되는 자신감 수준($\tau$)을 충족할 때만 엄격하게 필터링하고, 그렇지 않을 때는 적응형 하한선을 적용합니다. 이러한 접근 방식은 필터링 실패를 가정하는 것이 아니라 측정하여 실패를 회피함으로써 원칙성을 확보합니다.

그 결과, CW-BASS v2는 포화된 벤치마크에서 UniMatch V2 작동점을 회복하며, 자신감 집합이 신뢰할 수 없는 경우에도 성능을 개선합니다. 특히, 자신감 집합이 불안정할 때 성능이 향상되며, 이는 추가적인 마진(mIoU) 개선으로 이어집니다. 또한, 교사가 포화 상태일 때 적응형 차단이 보존 마스크를 과도하게 채우고 자기 학습이 확증 편향으로 퇴화하는 것을 방지합니다.

공간 지능은 구체적인 에이전트, 로봇 계획, 멀티모달 어시스턴트의 기반이 되고 있습니다. 기존 연구들은 VLM 에이전트의 공간 추론 능력을 개선하기 위해 지도 미세 조정이나 강화 학습 같은 후처리 방법 또는 깊이 추정 도구와 같은 외부 공간 도구를 호출하는 에이전트 패러다임으로 주로 접근해 왔습니다.

본 연구는 외부 전문가 도구에 의존하지 않고 파라미터 업데이트 없이 고정된 VLM 에이전트가 자체적으로 공간 추론 능력을 향상시킬 수 있는지에 대한 보완적인 경로를 탐구합니다. 이를 위해 경험 기반의 실행 프레임워크인 공간 메모리 에이전트(Spatial Memory Agent, SMA)를 제시하며, 검증된 공간 경험을 재사용 가능한 교훈으로 변환하는 것을 목표로 합니다.

SMA는 공간 경험을 통해 예측된 답변과 보상을 얻은 후, 검증된 반성을 통해 핵심적인 교훈을 추출합니다. 또한 각 교훈에 전이 신뢰 점수(Transfer Reliability Score, TRS)를 할당하여 향후 전이 신뢰도를 입증하는 방문 증거로 활용합니다. 읽기 전용 배포 환경에서 SMA는 이 교훈들을 의미적 필터와 유사도-TRS 결합 순위를 통해 검색하여 고정된 모델 추론을 안내합니다.

다섯 가지 대표적인 공간 벤치마크와 네 가지 기본 VLM을 대상으로 평가한 결과, SMA는 모든 기본 모델 블록에서 가장 높은 평균과 대부분의 평가에서 가장 뛰어난 정확도를 달성했습니다. 이는 평가된 고정 모델 규모와 환경 전반에 걸쳐 공간 자기 진화를 위한 실용적인 파라미터 업데이트 없는 경로를 확립했음을 의미합니다.

DreamX-Phi 1.0은 로봇 조작을 위한 행동 조건부 비디오 월드 모델로, 관찰된 프레임, 언어 지시, 그리고 말단 효과기 자세 및 그리퍼 상태를 포함하는 행동 시퀀스를 입력받아 결과적인 미래 관찰 결과를 예측합니다. 하지만 단순히 현실적인 시뮬레이션만으로는 예측의 충실도를 보장할 수 없으며, 그럴 경우 잘못된 팔이 움직이거나 조작하던 물체가 사라지는 문제가 발생할 수 있습니다.

이러한 문제점을 해결하기 위해 모델은 각 팔의 경로를 보존하고 강체 운동 구조를 유지하기 위해 PRoPE 스타일의 기하학적 인코딩을 통해 각 팔에 대한 SE(3) 변환을 어텐션에 주입합니다. 또한 장면의 기하학이나 작은 조작 물체의 변화를 완전히 제어하기 위해 장면 수준의 기하학을 위한 경량 깊 분기(depth branch)를 추가하고, 객체 일관성을 유지하기 위해 고정된 V-JEPA 교사(teacher)와 SAM3 마스크를 사용합니다.

나아가 이 모델은 분포 일치 증류(distribution-matching distillation)를 통해 다단계 생성기를 몇 단계의 학생 모델로 압축하여 효율적인 배포를 가능하게 합니다. 이 모델은 WorldArena~2.0 챌린지에서 Track~1 1위와 Track~2 2위를 달성했으며, 모델과 코드는 공개될 예정입니다.