읽을 가치가 있는 기사만, 짧고 또렷하게.

T3lescope는 개별 장면 최적화 없이 다중 시점 이미지로부터 단일 고정 해상도 생성기를 사용하여 장면 규모 전체에 걸쳐 3차원 장면 메시를 재구성하는 방법을 제안합니다. 기존의 장면 최적화 방법들은 관측이 희소하거나 표면이 광택이 있거나 투명할 때 필요한 학습된 3차원 사전 지식을 부족하게 다룹니다. 기존 생성 모델들은 이러한 사전 지식을 활용하여 희소하게 관측된 영역의 기하학을 완성하지만, 일반적으로 제한된 공간 범위에서 고정 해상도로 작동하여 공간 커버리지와 디테일 사이에서 상충 관계를 가집니다.

이러한 문제를 해결하기 위해 T3lescope는 추론 시점에 코스-파인(coarse-to-fine) 방식으로 단일 고정 해상도 생성기를 적용합니다. 코스 레벨은 장면 레이아웃을 설정하고, 더 미세한 레벨에서는 코스 레벨에서 물려받은 기하학을 점진적으로 더 미세한 공간 셀 내에서 교란하고 노이즈를 제거하여 표면 디테일을 복구합니다. 모델은 여러 스케일의 개별 셀에서 학습되며 가중치를 공유하므로 훈련 중 계층 구조가 고정되지 않고, 레벨 수, 셀 크기, 셀 위치는 추론 시점에 결정됩니다.

실내, 실외, 도시 규모의 장면에 대해 T3lescope는 순방향 및 생성 기반 기준 모델을 능가하고, 장면별 최적화와 일치하거나 능가하며, 미세 구조뿐만 아니라 광택이 있는 표면과 투명한 표면까지 복구합니다. 이 결과는 T3lescope가 다양한 장면, 시점 수, 이미지 해상도에 걸쳐 일반화될 수 있음을 보여줍니다.

celld에서 결정론적 시뮬레이션 테스트(DST)는 실행 순서를 탐색하고 버그를 재현하는 데 사용됩니다. 분산 시스템의 신뢰성을 확보하는 것이 어려운 이유는 메시지 지연, 쓰기 실패, 노드 재시작 등 특정 이벤트의 순서에 따라 버그가 발생할 수 있기 때문입니다. 개발팀은 이러한 문제를 해결하기 위해 DST를 도입하여 실패하는 실행을 반복하고 원인을 조사할 수 있도록 했습니다.

DST는 시뮬레이터를 사용하여 실제 환경과 동일한 코드를 실행하지만, 이벤트의 순서, 비동기 작업의 실행 시점, 객체 스토리지의 응답 등을 제어합니다. 시뮬레이터는 시간 경과를 가속하거나 쓰기 작업을 실패하게 만들 수 있으며, 이를 통해 시간 의존적인 동작(재시도, 알람)이 다른 이벤트와 어떻게 상호작용하는지 테스트할 수 있습니다.

이러한 제어를 통해 개발팀은 알람 설정과 셀 언로드 과정에서 발생하는 경쟁 상태(race condition) 버그를 발견했습니다. 시뮬레이션은 알람 설정과 셀 해제 작업이 예상치 못한 순서로 발생했을 때 시스템의 불변 조건(invariant)이 위반되는 상황을 포착했습니다. 이 실패하는 실행을 재현하고 분석함으로써, 팀은 알람이 작동하기 위해 필요한 웨이크 엔트리(wake entry)가 누락될 수 있다는 문제를 확인했습니다.

이후 팀은 웨이크 엔트리 설계를 변경하고, 실패하는 실행을 회귀 테스트로 전환하여 새로운 알람 설정이 유효한 웨이크 엔트리를 유지하는지 확인했습니다. DST는 단순히 최종 상태뿐만 아니라 실행 과정 전체에서 불변 조건을 검사함으로써 버그를 발견하고 수정하는 데 결정적인 역할을 했습니다.

추론 흔적은 대규모 언어 모델(LLM)의 성능을 향상시키지만, 현재 모델들은 주로 영어로 추론하도록 훈련되어 있습니다. 다른 언어로 추론하도록 강제하면 프롬프트 언어와 추론 언어가 일치하더라도 정확도가 저하되는 것으로 나타났는데, 이는 모델이 짧은 프롬프트에 대해 추론할 때만 해당됩니다. 본 연구는 이러한 현상이 검색 증강 생성(RAG)에도 동일하게 적용되는지 탐구하고자 했습니다.

이를 위해 연구진은 독일어로 풍부하게 문서화되어 있지만 모델이 기억에 의존하기에는 너무 전문적인 테이블탑 롤플레잉 게임 '더 다크 아이(The Dark Eye)' 세계관을 기반으로 하는 완전한 단일 언어 독일어 RAG 질의응답 테스트베드를 구축했습니다. 이 테스트베드에서 에이전트 RAG 시스템의 강제 추론 언어를 변화시키면서, 추론 언어를 질의와 검색된 문서의 언어와 일치시키는 것이 도움이 된다는 것을 발견했습니다.

강제 독일어 추론은 강제 프랑스 추론보다 우수했지만, 이는 언어 숙련도 때문이 아니라 정렬(alignment) 때문이었습니다. 검색된 맥락이 더 풍부하고 구조를 인식할수록 이러한 이점은 더욱 커졌습니다. 하지만 강제 독일어 추론은 모델의 고유하고 제약 없는 영어 추론 수준에 도달할 뿐 이를 능가하지 못하여, 본질적으로는 원어 멀티링구얼 추론이 필요함을 보여줍니다. 연구진은 이 테스트베드와 QA 벤치마크를 공개했습니다.

최근 텍스트-이미지 모델들은 사실성, 미학, 텍스트-이미지 정렬 측면에서 상당한 발전을 이루었습니다. 하지만 시각적으로 매력적인 이미지들조차도 실제 세계의 타당성을 위반하는 경우가 발생하며, 이는 물체의 형태 오류, 불가능한 해부학, 물리적으로 비현실적인 상호작용, 또는 일관성 없는 공간 관계 등의 형태로 나타납니다. 기존의 충실도, 미학, 선호도, 정렬 측정 지표들은 이러한 현실 세계 일관성 실패를 충분히 포착하지 못하고 있습니다.

이러한 격차를 해소하기 위해 연구진은 생성된 이미지의 세계 기반 시각적 일관성을 평가하는 프레임워크인 TerraVis를 소개합니다. TerraVis는 객체, 상호작용, 장면 수준의 실패를 포괄하는 구조화된 위반 분류 체계를 정의하고 다단계 평가 프레임워크를 사용하여 이러한 실패를 식별하고 정량화합니다. 구체적으로 TerraVis는 MLLM을 사용하여 이미지의 평가 적합성을 먼저 평가한 후, 18가지 분류된 위반 유형 전반에서 오류를 감지하고 이를 사소하거나 주요한 것으로 분류하여 전체 세계 일관성 점수를 도출합니다.

다양한 오픈 소스 및 독점 텍스트-이미지 모델에 대해 두 가지 널리 사용되는 벤치마크에서 TerraVis는 기존 지표들 간의 인간의 세계 일관성 판단과 가장 강력한 상관관계를 보였습니다. 이 연구 결과는 기존의 정량적 지표만으로는 부족하며, 모델이 기존의 통상적인 지표에서 강력한 성능을 달성하더라도 상당한 세계 일관성 실패를 보일 수 있음을 강조합니다.

이러한 발견은 세계 일관성을 보완적인 평가 차원으로 제시하며, TerraVis가 이러한 실패를 체계적으로 정량화, 진단 및 비교할 수 있게 함을 입증합니다. 개발자들은 TerraVis를 통해 모델의 시각적 일관성 문제를 체계적으로 분석하고 개선할 수 있습니다. 해당 코드는 공개되어 있습니다.

최근 텍스트-이미지 생성 모델의 시각적 품질은 크게 향상되었으나, 단일 보상 신호로는 인간의 선호도를 완전히 포착하기 어렵기 때문에 후처리(post-training)를 통한 개선이 여전히 어렵다는 문제가 제기되었습니다. 이 연구는 상호 보완적인 보상 신호의 조합을 기반으로 오픈 도메인 텍스트-이미지 생성에 대한 간단하고 효과적인 후처리 레시피를 개발했습니다.

제안된 보상 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다. 첫째는 브래들리-테리(Bradley-Terry) 목적 함수를 사용하여 전체적인 인간의 미적 및 지각적 선호도를 포착하는 대규모 인간 선호도 데이터로 훈련된 선호 보상입니다. 둘째는 보상 해킹을 방지하면서 프롬프트 충실도 및 기타 바람직한 속성을 명시적으로 평가하는 루브릭 기반 보상입니다.

이러한 이질적인 보상 신호를 결합하는 것이 핵심 과제이며, 연구진은 단순한 가중 평균이 최적의 최적화 행동을 유도하지 못함을 보여주었습니다. 대신 선호 최적화와 루브릭 만족도를 보다 효과적으로 균형 잡는 간단한 보상 조합 전략을 제안했습니다.

이러한 방법론을 통해 훈련된 모델들은 아레나(Arena) 리더보드에서 뛰어난 성능을 보였습니다. RL로 훈련된 Flux2dev는 기본 모델보다 69포인트 높은 엘로(Elo) 점수를 달성했으며, 후처리된 Ideogram-4는 리더보드에서 모든 오픈 소스 모델을 능가하며 1223.5의 엘로 점수를 기록했습니다. 또한 재현 가능한 연구를 지원하기 위해 전체 훈련의 일부 이점을 회복하는 1K 규모의 훈련 데이터셋인 Arena-T2I-Training을 공개했습니다.

최근 연구는 고정된 가중치 행렬에 데이터를 압축하는 대신, 훈련 과정에서 모든 데이터 포인트에 대한 새로운 키-값 표현을 저장하고 추론 시 어텐션 메커니즘을 통해 이를 검색하고 재결합하는 일반 목적 레이어를 제안합니다. 이러한 접근 방식은 성장하는 신경망(NN)을 가능하게 합니다.

기존 연구에서 선형 어텐션(LA)을 대체하는 더 강력한 어텐션 함수를 사용하는 것이 비자명하며, LA 사례의 학습 규칙을 고급 커널에 단순히 적용하는 것이 원칙적인 최적화로 이어지지 않는다는 한계가 지적되었습니다. 이 연구는 이러한 격차를 메우기 위해 방사 기저 함수(RBF) 및 소프트맥스 유사 커널을 기반으로 커널화된 어텐션 레이어에 대한 기능적인 경사 기반 학습 규칙을 개발하여 '검색 중심 딥러닝(RCDL)' 패러다임을 확립했습니다.

RCDL 패러다임은 이미지 분류 및 합성 교사-학생 학습 작업에서 뛰어난 성능과 학습 효율성을 입증했습니다. 또한, NN의 이중 형태에서 LA를 MesaNet/DeltaNet과 같은 고급 LA 변형으로 대체할 경우, 기존 고정 크기 NN에 대해 최근 제안된 최적화 기법들과 형식적인 연결고리를 제공한다는 점도 밝혀냈습니다.

언어 모델 시스템은 모든 능력을 하나의 공유 파라미터 시스템을 통해 업데이트하는 대신, 문맥 계산, 영구 저장, 정확한 실행을 분리할 수 있다는 연구 결과를 제시합니다. 연구진은 문서 상태와 결정론적 실행 가능한 기술을 공유 언어 모델 상태에 기여하는 유한 요소법에서 영감을 받은 FEM-ASM 조직을 탐구했습니다.

이 구조는 공통 인터페이스 노드에 연결된 제안들을 조정하는 명시적인 잔차 연산자를 포함하며, 이를 통해 저장, 실행, 신경 조정의 분리를 가능하게 합니다. 실험 결과, 주의를 기울이지 않는 멀티-메시 프로토타입은 인과적 언어 모델링을 학습하지만 경쟁적인 일반 능력을 확립하지 못했습니다.

또한, 버전화된 저장소는 약 17억 개의 부동 소수점 값 예산 내에 52,809개의 재구성 메모리 요소를 포함하며, 재구성 정확도는 약 75% 토큰 정확도로 불완전한 결과를 보였습니다. 실행 가능한 산술에 대해 위치 결과 관찰은 신경 렌더링을 개선하며, 출력 대체는 모델의 선호 답변을 변경시키는 것으로 나타났습니다.

이 연구는 전체 멀티-빌리언 값 저장소를 로드하는 것 없이 선택된 증거를 제공하는 효과를 측정하는 경계를 설정하며, 질문 기반 검색, 무제한 답변 생성, 종단 간 효율성에서 해결되지 않은 한계를 식별합니다.

새롭게 공개된 Whistle은 모바일, 웨어러블 기기, 로봇 등 소형 장치에서 구동 가능한 음성 인식 모델로 16.9MB의 파일 크기로 제공됩니다. 이 모델은 별도의 종속성 없이 CPU에서 실행되며, 기존의 Needle 모델과 동일한 C++ 엔진 및 컨테이너에서 로드되어 통합 사용이 가능합니다.

Whistle은 영어, 독일, 프랑스, 스페인, 이탈리아, 네덜란드, 폴란드 등 7개 언어를 처리할 수 있으며, 최대 30초 분량의 16kHz 모노 오디오를 입력받아 전사(Transcription), 단어 타임스탬프, 음성 임베딩 등 세 가지 작업을 기기 내에서 수행합니다. 오디오 데이터는 기기를 벗어나지 않기 때문에 개인 정보 보호 측면에서 유리하며, 첫 토큰을 11ms 만에 도출하는 빠른 속도를 자랑합니다.

모델의 내부 구조는 인코더와 디코더가 공유하는 어텐션 블록과 게이티드 크로스 어텐션 방식으로 설계되어 효율성을 높였으며, 이는 Needle 모델의 코드를 복사하지 않고 자체적으로 구현되었습니다. Whistle은 LibriSpeech, SPG, Earnings-22 등 여러 벤치마크에서 Whisper 기반 모델보다 우수한 성능을 보이며, 특히 크기 대비 성능 면에서 경쟁력을 입증했습니다.

개발자는 Whistle을 통해 오디오 처리와 텍스트 변환 기능을 소형 장치에 효율적으로 통합할 수 있으며, 명령어 라인 인터페이스를 통해 모델을 배포하고 다양한 하드웨어 환경에서 구동할 수 있습니다.

비전-언어-행동(VLA) 기반 파운데이션 모델이 조작 성능과 일반화 능력을 향상시키며 빠르게 발전했지만, 이러한 확장 과정에서 발생하는 높은 계산 비용 때문에 실제 환경에 배포하는 것이 점점 어려워지고 있습니다. 기존 접근 방식들은 보통 더 작은 아키텍처를 설계하거나 흐름 기반 정책에서 반복적인 디노이징 단계를 줄여 이 문제를 완화해 왔습니다.

본 연구는 효율적인 온-폴리 디스틸레이션을 통해 대규모 VLA 모델을 실용적으로 배포할 수 있게 하는 파운데이션-투-경량 VLA 프레임워크인 FastOPD를 제안합니다. FastOPD는 단일 상태 교사 감독을 위해 흐름 맵을 조정하고 자기 일관성 목표를 결합하여 교사의 역학을 학습하는 압축된 학생 모델을 구축합니다. 이론적으로 이 목표를 최소화하면, 증류된 학생이 이상적인 몇 단계 교사 모델이 유도하는 분포와 동등한 분포를 복구할 수 있음을 입증했습니다.

실제 실험 결과, FastOPD는 LIBERO 환경에서 단 두 번의 추론 단계만으로 $\pi_{0.5}$의 84% 성능을 유지하며 추론 지연 시간을 78.1% 감소시켰고, 기존의 소수 단계 디스틸레이션 기준선보다 평균 성공률에서 우수한 성능을 보였습니다. 또한 LingBot-VLA를 교사로 사용하여 RoboTwin 2.0에서 기본 학생 대비 단일 단계 성공률을 15.9 퍼센트 포인트 향상시켰습니다.

나아가 FastOPD는 World Action Model(WAM)에도 적용 가능함을 입증했으며, MolmoAct2에서 증류된 압축된 학생 모델을 실제 로봇에 배포하는 데 성공했습니다. 이는 대규모 VLA 모델을 효율적으로 경량화하여 실제 로봇 환경에 적용하는 데 중요한 진전을 제공합니다.

온폴리 정책 증류(OPD)는 언어 모델 후처리 과정에서 중요한 접근 방식으로 자리 잡았지만, 성능 향상에도 불구하고 과도하게 길고 반복적인 생성으로 붕괴될 수 있다는 문제가 제기되었습니다. 이러한 결과가 발생하는 메커니즘은 강화 학습 관점에서 설명될 수 있는데, 이는 교사(teacher)가 자신이 거의 보이지 않는 행동까지도 학생(student)의 행동에 암묵적으로 보상을 주기 때문입니다.

연구 결과에 따르면 OPD는 학생의 능력을 확장하지 않으면서 성능을 개선시키며, 암묵적인 보상 모델이 신뢰할 때 올바른 응답을 샘플링하기 쉽게 만듭니다. 그러나 선호도와 품질이 일치하지 않을 경우 보상 해킹(reward hacking)이 발생하여, 암묵적인 보상 모델이 실제로 잘 생성하지 않는 과장되거나 반복적인 학생의 실행을 증폭시킵니다.

이러한 진단을 바탕으로 연구진은 훈련 중 건강하지 못한 응답을 마스킹하고 SFT 초기화를 사용하는 것이 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 이는 OPD가 교사의 암묵적인 피드백에 의해 선호되는 학생의 행동을 증폭시키며, 교사가 얼마나 잘 생성하는지에 초점을 맞추는 것에서 학생 실행의 결과를 얼마나 신뢰할 수 있게 평가하는지로 초점을 전환해야 함을 시사합니다.

언어 모델의 유용한 작업들은 정확한 결과 검증이 어려운데, 이를 해결하기 위해 루브릭 기반 강화 학습(RL)이 도입되었습니다. 루브릭 기반 RL은 명시적인 기준에 따라 개방형 응답을 평가하여 점수를 매기지만, 보상이 전체 응답 후에만 주어지기 때문에 최종 점수에 기여한 개별 결정 사항을 식별하기 어렵다는 한계가 있습니다.

이에 연구진은 루브릭을 먼저 고차원적인 교사 컨텍스트로 사용하여 밀도 높은 토큰 수준 감독을 수행하고, 그 다음으로 RL에서 보상으로 활용하는 2단계 훈련 프레임워크를 제안했습니다. 첫 번째 단계인 루브릭 특권 증류(RP-OPD)에서는 루브릭에 접근할 수 없는 학생이 루브릭을 인지하는 교사의 다음 토큰 분포를 학생이 생성한 접두사에서 일치시킵니다.

두 번째 단계에서는 RL이 루브릭 보상을 직접 최적화하여 이전 증류 정체 구간을 넘어 성능을 향상시킵니다. 이 프레임워크를 건강 및 과학 과제에 대해 HealthBench, ResearchQA, RubricHub Science 등에서 평가한 결과, 이 2단계 프레임워크가 다른 방법들보다 가장 높은 점수를 달성했습니다.

특히 RP-OPD와 RL을 결합한 방식은 RubricHub Science에서 보상 해킹의 징후가 제한적이었던 반면, SFT와 RL의 기준선은 요구되는 콘텐츠 없이 루브릭 준수에 대한 주장을 통해 높은 보상을 받는 경향을 보였습니다. 따라서 루브릭 기반 RL을 적용하기 전에 온폴리 증류를 안내하는 데 루브릭을 사용하는 것이 효과적임을 시사합니다.

최신 연구는 디코더 전용 대규모 언어 모델(LLM)에서 교차 언어 표현 정렬이 어렵다는 문제를 해결하기 위한 새로운 접근 방식을 제안합니다. 기존의 교차 언어 대조 학습은 다국어 토큰화의 차이로 인해 모델 내부 표현을 명시적으로 정렬하기 어렵다는 한계가 있었습니다.

연구진은 이러한 제약을 극복하기 위해 중간 레이어의 은닉 상태 대신 혼합 전문가(MoE) 라우터의 출력을 정렬의 목표로 사용하자고 제안합니다. MoE 라우터의 출력은 여러 토큰에 걸쳐 풀링하기에 적합하여 시퀀스 수준에서 더 신뢰할 수 있는 교차 언어 비교를 가능하게 합니다.

실험 결과, 네 가지 오픈 소스 MoE에 대한 통제된 지속적인 사전 훈련 실험에서 이 라우팅 손실을 통합하는 것이 언어 간의 근본적인 은닉 표현을 정렬하는 데 도움이 되는 것으로 나타났습니다. 이는 다양한 평가 세트에서 다국어 성능을 향상시켜 교차 언어 MoE 라우터 정렬의 잠재력을 입증합니다.

언어 모델에 학습 가능한 입력 임베딩 테이블이 필요한지에 대한 연구 결과, 토큰별 매개변수화가 언어 모델의 상당한 능력에 필수적이지 않음을 보여줍니다. 연구진은 동일한 토크나이저, 컨텍스트 백본, 출력 헤드 및 훈련 레시피를 사용하여 처음부터 훈련된 세 개의 디코더 전용 언어 모델을 비교했습니다.

이 모델들은 학습 가능한 입력 인터페이스, 고정된 16비트 토큰 ID 코드, 그리고 GF(2) 위에서의 고정된 가역 재코딩이라는 세 가지 입력 방식을 사용했습니다. 고정된 코드 인터페이스를 사용한 모델들은 52.40%의 헬라스가그 정규화 정확도, 70.51%의 PIQA 정확도, 그리고 42.75%의 LAMBADA 정확도를 달성하며 상당한 능력을 확보했습니다.

반면, 학습 가능한 입력 제어 방식은 헬라스가그 및 LAMBADA를 포함한 여러 평가에서 더 나은 성능을 보였습니다. 이 실험 결과는 독립적으로 학습 가능한 토큰별 입력 벡터가 관찰된 능력에 필요하지 않음을 시사하며, 고정된 정체성 인터페이스가 불변 입력으로부터의 표현 학습을 연구하기 위한 통제된 환경을 제공한다는 것을 보여줍니다.

고정된 인터페이스는 1억 7110만 개의 학습 가능한 매개변수를 제거하여 17억 1100만 개의 매개변수를 가진 모델을 산출했지만, 매개변수 감소 자체가 핵심 결과는 아니었습니다. 이는 모델의 능력에 대한 경험적 유용성과 아키텍처적 필요성을 구별하는 데 중요한 단서를 제공합니다.

언어 모델 에이전트는 컨텍스트, 도구, 피드백을 관리하는 소프트웨어인 하네스(harness)와 함께 배포됩니다. 이러한 에이전트를 더 작은 모델로 증류할 때 하네스는 그대로 유지되므로, 학생 모델은 하네스가 제공할 수 없는 하네스 정보에 기반한 교사 고유의 능력, 예를 들어 하네스 정보를 올바르게 처리하는 능력을 주로 필요로 합니다. 그러나 표준 증류 방식은 교사의 전체 출력을 모방하며 하네스를 입력의 일부로 취급하여 이러한 핵심 정보를 놓칩니다.

이에 본 연구는 하네스 외에 교사가 추가하는 부분에 초점을 맞추는 하네스 인식 증류(Harness-Aware Distillation, HAD)를 제안합니다. HAD는 온정책 증류에 두 가지 구성 요소를 추가합니다. 첫째는 학생의 추론 후에 하네스 정보 유무에 따른 동일한 교사 행동을 대조하여 점수를 매기는 행동 선호도이며, 둘째는 선호하는 행동이 하네스 기록과 모순될 경우 선호 쌍을 제거하는 유효성 검사입니다.

이러한 대조를 통해 학생에게 교사만으로는 제공할 수 없는 정보를 제공하며, HAD는 태스크 보상이나 성공 레이블, 미래 정보 없이도 작동합니다. 여러 장기 에이전트 벤치마크와 모델에서 HAD는 동일한 고정된 하네스를 가진 온정책 증류 기준선보다 우수한 성능을 보였습니다. 분석 결과, HAD는 기준선보다 덜 비생산적인 루프에 진입하고 오류에서 더 자주 회복하며, 하네스에서 상태 정보를 읽으면서 학습 가능한 피드백을 가중치에 적응적으로 유지할 것을 제안합니다.

일반 목적의 로봇 정책을 학습하기 위해서는 대규모의 실제 상호작용 데이터가 필요하지만, 로봇 시연 데이터를 수집하는 것은 비용이 많이 들고 확장하기 어렵습니다. 에고센트로(egocentric) 비디오는 로봇 조작에 필요한 과제 관련 의미론을 가진 풍부한 인간 상호작용 경험을 제공하지만, 직접적인 지식 전이는 두 가지 이유로 어렵습니다. 프레임 재구성에서 추론된 잠재 행동은 에고 카메라 움직임과 같은 방해 요소에 의해 지배될 수 있으며, 인간과 로봇의 행동은 종종 다른 시간적 역학을 보이기 때문입니다.

이에 연구진은 에고센트로 비디오에서 로봇 정책으로 상호작용 지식을 전이하기 위한 프레임워크인 WING(World Action Learning via Interaction-Centric Spectral Latent Guidance)를 제안했습니다. WING은 먼저 관찰자 유도 움직임과 손-물체 상호작용을 분리하고 상호작용 중심 구성 요소를 잠재 행동으로 압축합니다. 이후, 교차 실체 과제 의미론이 느리게 변화하는 시간 구조에 집중되어 있다는 관찰을 활용하여 에고센트로 잠재 행동과 로봇 행동 간의 스펙트럼 영역에서 공유되는 저주파 구성 요소를 식별하고 이를 행동 생성을 안내하는 데 사용합니다.

이러한 접근 방식을 통해 WING은 LIBERO에서 99.20%, RoboTwin 2.0에서 93.80%, RoboCasa-GR1에서 57.70%의 평균 성공률을 달성했으며, 다양한 일반화 설정 하에서 네 가지 실제 조작 과제 전반에서 강력한 성능을 보였습니다. 이 결과는 상호작용 중심 스펙트럼 가이드가 인간 에고센트로 비디오에서 로봇 제어로 물리적 상호작용 지식을 전이하는 효과적이고 확장 가능한 방법을 제공함을 보여줍니다.

스트리밍 비디오 생성 분야는 분포 매칭 증류(DMD)를 통해 발전해 왔는데, 이는 비디오 프레임의 결합 분포를 실제 비디오 분포의 영상 교사 근사치에 맞추는 방식입니다. 이러한 결합 매칭은 자기회귀 롤아웃 중 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬 측면에서는 여전히 한계가 존재합니다.

이러한 한계를 극복하기 위해 연구진은 통합된 결합-주변 분포 공식(joint-marginal formulation)을 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안했습니다. DuoMatching은 기존의 결합 매칭에 더하여 이미지 생성기로부터 얻은 프레임 수준의 추가적인 주변 매칭 목표를 제공함으로써 보완적인 시각 및 의미론적 사전 지식을 전달합니다.

비디오 생성에 이 프레임 수준의 감독을 적용하기 위해 잠재 표현 불일치를 해결하는 LatentBridge를 도입했으며, 잠재 변이 샘플링(Latent Variation Sampling)을 통해 이러한 프레임 수준의 감독을 서로 다른 시간 세그먼트에 분산시켜 중복을 줄였습니다. 실험 결과, DuoMatching은 움직임 역학을 크게 보존하면서 시각적 품질, 구성, 의미론적 정렬을 개선하는 것으로 나타났습니다.

인간 평가를 통해 평가된 모든 기준에 대해 전체 선호도가 80%를 상회하는 결과를 보였습니다. 이 연구는 비디오 생성 모델의 품질과 정렬을 향상시키면서도 동적 움직임을 유지하는 데 중점을 둔 구체적인 방법론을 제시합니다.

실제 시계열 데이터는 외생적 사건과 구조적 변화에 의해 자주 영향을 받기 때문에, 단순히 과거 수치 관측에 기반한 기존의 예측 방식은 불충분합니다. 언어 모델이 외부 뉴스를 검색할 수 있음에도 불구하고, 표준 검색 증강 접근 방식은 높은 노이즈, 누락된 신호, 그리고 사건 영향에 대한 인과 관계 추론 능력 부족으로 어려움을 겪습니다.

이에 연구진은 시계열 예측을 위한 사건 조건화를 동적으로 최적화하는 폐쇄 루프 프레임워크인 SEER(Self-Evolving Event Reasoning and Retrieval)를 제안합니다. SEER는 예측 오류를 두 개의 분리된 피드백 메커니즘으로 변환합니다. 첫째는 후속 검색 쿼리를 개선하고 불필요한 노이즈를 걸러내는 반성적 검색 메모리이며, 둘째는 전이 가능한 도메인 역학을 추출하는 지속적인 인과 지식 기반입니다.

SEER는 사건 검색과 반성 모두에 엄격한 시간적 경계를 적용하여 선행 편향과 데이터 누수를 방지합니다. 이 접근 방식은 여섯 가지 변동성이 높은 시계열 벤치마크에서 최첨단 시계열 기반 모델 및 언어 모델 기준선보다 일관되게 우수한 성능을 보였습니다.

단백질 시퀀스와 구조 생성에서 자기회귀 트랜스포머는 여전히 비교적 취약하다는 연구 결과가 나왔습니다. 연구진은 목표 표현의 역할을 탐구하며, 아미노산 토큰은 문맥적 의미 없이 잔기 정체성을 인코딩하는 반면, 골격 좌표는 이 프레임워크에서 이산적인 표현을 필요로 한다고 주장합니다.

이를 위해 연구진은 두 가지 학습된 잠재 단백질 언어인 단백질 잠재 언어(PLL)와 구조 잠재 언어(SLL)를 도입했습니다. PLL은 ESM-2 인코더를 기반으로 4,096 상태의 문맥 알파벳으로 시퀀스를 매핑하며, SLL은 보조 시퀀스 및 신뢰도 감독을 통해 GCP-VQVAE Lite를 조정하여 골격 좌표로 디코딩을 유지합니다. 이 두 언어를 사용하여 PLLM과 SLLM을 사전 학습한 후, 자기회귀 트랜스포머 모델에 적용했습니다.

PLLM은 아미노산 자기회귀 모델에 비해 계산 확장 지수(compute-scaling exponent)가 0.038로, 0.020인 기존 모델보다 우수한 성능을 보였습니다. 또한, SLL을 사용하여 시퀀스-구조 예측 시 토크나이저를 대체했을 때 학습된 검증 불확실성(perplexity)이 34% 감소했습니다. 장기 단백질의 경우 잠재 토큰 샘플링은 MSA 기반 AlphaFold2보다 약 1,000배 빨랐으며, SLLM의 내부 토큰 신뢰도를 추론 시 활용하면 단일 디코딩 샘플을 넘어 시퀀스-구조 예측 품질을 향상시킬 수 있다는 초기 결과도 관찰되었습니다.

이러한 연구 결과는 학습된 잠재 단백질 언어가 단백질 생성에서 자기회귀 트랜스포머의 확장성과 추론 시간 샘플링을 위한 유망한 기반임을 시사합니다.

인간-사물 상호작용에 대한 생성 모델은 데이터의 제약에 의해 제한되는데, 대부분의 데이터셋은 다중 객체를 한 번에 포착하는 것이 조합적으로 비용이 많이 들기 때문에 개별 객체를 한 번에 기록합니다. 연구진은 상호작용이 국소적이라는 관찰을 바탕으로 단일 객체 캡처만으로도 다중 객체 활동의 일부를 포함하고 있다고 보았습니다.

이러한 단일 캡처들을 접촉 일관성, 손의 균형 맞추기, 신체 간 이동 등을 통해 구성하며, 언어 모델과 기하학적 검사를 사용하여 의미론적, 물리적으로 타당한 쌍만을 허용합니다. 이 방법은 데이터셋이 시간 기록이 아닌 클립을 통해 조합적으로 성장하도록 하며, COSMI 데이터셋은 최대 다섯 개의 객체를 포함하여 222k개의 시퀀스와 275시간의 데이터를 보유하고 있습니다.

COSMI 데이터셋은 기존의 최대 다중 객체 캡처보다 약 30배 많은 양이며, 추가적인 데이터셋이나 손-객체 기록을 통해 확장될 수 있습니다. 연구진은 이 데이터에서 텍스트-상호작용 확산 트랜스포머(text-to-interaction diffusion transformer)인 COSMI 방법을 훈련시켰으며, 이는 신체 부위에 상대적으로 예측되는 객체를 생성합니다.

이 모델은 보지 못한 객체와 상호작용 조합에 대한 벤치마크에서 일반화되며, 텍스트 정렬 및 접촉 정확도에서 기존 모델들을 능가합니다. 특히 보지 못한 객체에 대해서는 그 차이가 가장 크게 나타나며, 코드, 모델, 데이터 파이프라인은 프로젝트 페이지에서 공개됩니다.

기존 스트리밍 비전-언어 모델(VLM)은 시각 스트림을 지속적으로 인식하고 추론하지만, 추론 과정에서 계산 경로가 고정되어 있어 변화하는 장면 역학에 맞춰 계산을 적응시킬 수 없습니다. 따라서 서로 다른 미래 사건이 요구하는 인식 수준과 형태에 따라 계산을 동적으로 조정할 수 없습니다.

본 논문은 스트리밍 VLM이 즉각적인 미래를 예측하는 능력을 내재하고 있음을 보이며, 이 능력을 활용하여 훈련 없이 미래 계산을 동적으로 구성할 수 있음을 제시합니다. 이러한 예측 계산을 실현하기 위해서는 미래 예측이 계산을 안내하기에 충분히 신뢰할 수 있어야 하고, 계획 수립은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성 오버헤드는 무시할 수 있어야 하는 어려운 과제가 있습니다.

이러한 문제를 해결하기 위해 연구진은 공유 가중치, 입력 인코더, KV 캐시를 가진 두 개의 Siamese LLM으로 구성된 듀얼 스트림 아키텍처인 FORESIGHT를 도입했습니다. 이 구조에서 첫 번째 LLM은 들어오는 토큰을 지속적으로 처리하는 반면, 두 번째 LLM은 스트림보다 앞서서 미래 컨텍스트를 예측하고 미래 계산을 계획하며 스트리밍 추론을 중단하지 않고 응답을 생성합니다. 결과적으로 계산 계획은 스키마 기반 디코딩과 경량 차분 업데이트를 통한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다.

고정된 Qwen3-VL-8B 백본을 사용하여 구현된 FORESIGHT는 OmniPro Online 평가에서 23.0의 평균 공동 F1 점을 달성하며 가장 강력한 훈련 기반 기준선보다 9.5% 높은 성능을 보였습니다. 또한 StreamingBench에서는 6.7, OVO-Bench에서는 15.4의 성능 향상을 기록했으며, 특히 증거가 비디오 스트림에서 더 늦게 도착할 때 최대 18.7의 이득을 얻었습니다. 연구진은 소스 코드를 공개할 예정입니다.