읽을 가치가 있는 기사만, 짧고 또렷하게.

다중 교사 온정책 증류(MOPD)는 강화 학습으로 훈련된 교사들의 강점을 단일 학생에게 결합하는 것을 목표로 하지만, 교사 신호가 파라미터 변화에 미치는 영향은 아직 충분히 탐구되지 않았습니다. 연구진은 Qwen3-1.7B 모델을 대상으로 동일한 초기화에서 RL로 훈련된 네 개의 도메인 교사를 사용하여 기울기, 옵티마이저 업데이트, 태스크 학습 곡선을 비교했으며, 추가적으로 SmolLM3-3B 진단 결과를 활용했습니다.

연구 결과, 교사 신호에 영향을 미치는 여러 요인들이 발견되었습니다. 손실 평균화는 응답을 암묵적으로 가중하는데, 토큰 평균화는 더 긴 응답을 선호하며 도메인 기여도를 균등화하는 것은 이 가중치를 도메인 내에서 유지합니다. 또한 Adam의 첫 번째 모멘트는 기울기 차이를 줄여주는데, 원시 기울기 차이에도 불구하고 교사들 간의 코사인 유사도는 0.83이었고 평균화 규칙 간의 유사도는 0.96이었습니다.

더불어 BF16 반올림은 작은 변화를 숨기는 경향이 있으며, FP32 마스터 가중치의 약 97%가 초기화와 다르지만 BF16 가중치는 7~11%만이 차이를 보였습니다. 최종적으로, 상위 64개 교차점 KL 기울기는 Qwen의 전체 어휘 기울기와 밀접하게 일치하지만, 태스크 성능에 미치는 영향은 평균화 방식에 따라 달라집니다. 수학 정확도의 경우, 응답 평균화 하에서 샘플링된 토큰 정책 기울기(PG)보다 2.6%p 더 높았으나, 전체 토큰 평균화 하에서는 2.1%p 낮았습니다.

LLM에 대한 온폴리 정책 증류(OPD) 방법론을 개선하는 Latent-MOPD를 제안합니다. 이는 기존의 다중 교사(multi-teacher) OPD가 전문가들의 출력 분포를 통해 지식을 전달하는 방식에서 나아가, 모델의 내부 표현(representation) 수준에서 다중 교사의 지식을 통합하는 최초의 방법입니다. Latent-MOPD는 추가적인 교사 훈련 없이 전문가들의 예측뿐만 아니라 해당 예측을 계산하는 데 사용된 은닉 상태(hidden states)를 통합하여 전문가들을 모델에 통합합니다.

다중 전문가의 표현 감독을 조정하기 위해 Latent-MOPD는 교사와 학생 간의 관계에 따라 후반 레이어 목표를 선택하고, 서로 다른 은닉 너비를 공유 투영을 통해 조정하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 감독은 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 이 과정에서 모든 채널은 동일한 경로를 거치는 전문가를 사용합니다.

동일한 가족 설정에서 Latent-MOPD는 수학, 코드, 논리 분야의 아홉 가지 벤치마크 전반에서 토큰 전용, 표현 전용, 균일 평균화 기준선보다 우수한 성능을 보였습니다. 또한, 각 교사와 동일한 파라미터 수를 가질 경우, 학생 모델은 대부분의 벤치마크에서 개별 교사 중 최고 성능을 능가합니다.

더 나아가, 별도로 개발된 교사들이 더 큰 교차 가족(cross-family) 교사일 경우, Latent-MOPD는 모든 벤치마크에서 단일 채널 기준선보다 우수한 성능을 달성합니다. 이 연구 결과는 단일 학생이 여러 전문가의 출력 분포와 내부 표현을 통해 능력을 통합할 수 있음을 보여줍니다.

AI 동반자가 장기간 대화하며 인간을 이해하기 위해서는 과거의 내용을 기억하고 메시지에 영향을 미치는지를 아는 능력이 필요하다는 연구 결과가 발표되었습니다. 이 연구는 실제 사람의 기록이 사적인 문제이므로, 벤치마크는 개인과 질문을 생성하여 필요한 정보를 사전에 설정하는 방식으로 진행되었습니다. 연구진은 이러한 테스트를 위해 27,218개의 메시지와 그로부터 파생된 프로필, 페르소나, 대화 정답, 질문 세트를 포함하는 \bench 데이터를 공개했습니다.

이 데이터에는 각 대화 레이블에 해당 레이블을 생성한 추론 경로가 포함되어 있으며, 대화의 각 단계별로 검증되었습니다. 연구 결과에 따르면 과거의 정보는 실제로 필요하지 않거나 멀리 떨어져 있는 경우가 많으며, 단순한 집계 측정은 오해를 유발합니다. 최근성 창을 적용했을 때 95.9%의 탐색에서 필요한 메시지를 찾을 수 있으며, 기록된 증거를 제공함으로써 얻는 이득의 96%는 애초에 기억이 필요하지 않은 메시지에서 비롯됩니다.

또한, 실제 메시지에서 기억이 필요한지 여부를 구별할 수 있는 탐지기는 없으며, 동일한 역사를 바탕으로 작성된 질문이 단서를 유출시키고, 동일한 메시지를 기억으로 레이블링하면 그 사용 빈도가 10~14% 증가하는 것으로 나타났습니다. 마지막으로, 세 가지 에이전트 시스템이 동일한 F1 점수를 달성하는 페르소나를 재구성할 때 비용은 31배 차이가 발생했습니다.

로봇 제어를 위한 세계 행동 모델(WAM)이 초기 관찰과 지시로부터 미래 시각 역학과 행동을 공동 예측하는 유망한 패러다임으로 부상하고 있습니다. 그러나 기존 WAM들은 밀도 높은 비디오 롤아웃을 생성하는 것이 비효율적이기 때문에 장기 예측에 어려움을 겪어왔습니다. 최근 일부 모델들은 전체 비디오를 생성하지 않고 단일 미래 프레임을 예측하는 방식으로 이 문제를 해결했지만, 목표를 향해 어떻게 진행해야 하는지에 대한 접근은 간과했습니다.

이에 연구진은 행동과 희소한 시각 서브 목표 순서를 공동으로 예측하는 점진적 세계 행동 모델인 ProWAM을 제시했습니다. ProWAM은 작업 실행 전반에 걸쳐 행동 생성을 고정시키는 명시적인 시각적 지침을 제공합니다. 이 설계는 대규모 행동 없는 비디오에서 서브 목표 예측을 학습할 수 있어 자연스럽게 확장되며, 비디오 백본이 행동 정책으로부터 복잡한 시각 계획을 분리할 수 있게 합니다.

효율적인 행동 생성을 위해 ProWAM은 단일 비디오 백본 순방향 패스를 실행하여 희소한 서브 목표 특징을 캐싱함으로써 반복적인 전체 비디오 생성을 제거합니다. 광범위한 평가에서 ProWAM은 뛰어난 분포 외(out-of-distribution) 강건성을 달성했습니다. 시뮬레이션 벤치마크에서는 LIBERO-Plus(85.8%)와 RoboTwin(75.7%)에서 최신 최고 성능을 기록하며, 가장 강력한 기준 모델보다 최대 35.9%의 상대적 개선을 보였습니다.

특히 실제 환경에서의 제로샷 실험에서 ProWAM은 70.0%의 성공률을 달성하여 새로운 장면에서 가장 강력한 기준 모델보다 15.0%p 향상(55.0%에서 70.0%로, 상대적 27.3% 증가)하며 우수한 성능을 보였습니다. 이는 폐쇄 루프 제어를 위한 진행 지표 기반 시각 예측의 가치를 입증합니다.

장편 비디오 생성 및 월드 모델은 사용자 행동과 과거 기억에 기반하여 미래 관측을 예측함으로써 상호작용 엔터테인먼트와 체화 시뮬레이션에 강력한 잠재력을 보여줍니다. 그러나 기억 시퀀스가 길어지고 구조가 복잡해짐에 따라 장거리 공간 맥락을 관리하는 것이 점점 더 어려워지므로, 보다 지능적이고 체계적인 메모리 관리 전략이 필요합니다.

이러한 문제를 해결하기 위해 본 연구는 멀티모달 대규모 언어 모델(MLLM)의 공간 추론 능력과 통합 모델의 비전을 바탕으로 장편 비디오 월드 모델에서 공간 메모리 관리를 위해 이해 모델을 체계적으로 활용하는 공간 메모리 지능(Spatial Memory Intelligence, SMI) 프레임워크를 제안합니다. SMI는 공간 클러스터링, 클러스터 내 희소화, 행동 인식 검색, 신뢰도 인식 필터링이라는 네 가지 조정된 원자적 연산을 도입합니다.

광범위한 실험 결과는 SMI의 효과와 일반화 가능성을 입증하며, 메모리 희소성, 생성 안정성, 공간 일관성 측면에서 포괄적인 개선을 달성했습니다. 이는 복잡한 장기 기억 구조를 효율적으로 관리하여 월드 모델의 성능을 향상시키는 데 기여합니다.

LLM 에이전트가 복잡하고 장기적인 작업을 수행할 때 출력 결과를 검증하는 것은 점점 더 어려워지고 있습니다. 연구진은 참조 답변이나 채점 기준 없이 고정된 기반 모델만으로 검증 능력을 강화하는 방법을 탐구했으며, 반복적인 샘플링을 통해 여러 결과가 나오지만 어떤 주장을 신뢰해야 할지 결정할 신뢰할 수 있는 메커니즘이 필요하다고 지적했습니다.

이러한 관찰을 바탕으로 연구진은 VeriHarness를 제안했는데, 이는 기본 LLM을 작업 공간, 증거 도구, 재사용 가능한 검증 기술을 부여하여 에이전트 검증자로 변환하는 방법입니다. 특히, 의견 불일치가 종종 올바른 대안을 드러내고 합의가 오류를 숨길 수 있다는 발견을 통해, 경쟁 주장과 환경 증거를 비교하는 의견 불일치 해결자와 공유된 주장을 테스트하는 합의 도전자를 도입했습니다.

이러한 접근 방식은 장기 에이전트 검증을 확장하는 데 중요한 역할을 하며, 증거 기반 수정은 평균 성능을 향상시켰습니다. 이는 단일 실행 대비 Gemini 3.5 Flash에서 6.2점, Claude Opus 4.8에서 6.4점의 성능 향상을 가져왔습니다. 또한, 검증 기술이 실패 피드백으로부터 스스로 개선될 수 있음을 보여주어 VeriHarness가 장기 에이전트 검증을 확장하는 데 있어 새롭고 중요한 접근 방식임을 입증합니다.

연구진은 이 결과를 뒷받침하기 위해 다섯 가지 벤치마크와 두 가지 선도 모델에 걸쳐 약 26,000개의 실행 결과를 공개했으며, 이는 10만 달러 이상의 비용이 소요되었습니다. 이 데이터는 에이전트 검증에 대한 향후 연구를 지원할 것입니다.

생물 의학 문장 인코더를 검색을 위해 학습시킨 것이 타입 결정 모델의 좋은 출발점이 될 수 있는지 연구했습니다. 연구진은 Sentence-Transformers 인코더를 바이-인코더, 교차 헤드(C), 사전 융합 잔차(PFR) 결정 모델로 변환하는 SBERT2S1을 제시하며, 생물 의학 타입 결정 도구인 BIODECIDE와 NLM 인덱싱에서 파생된 243k 훈련 결정 데이터인 MEDLINE-S1을 활용했습니다.

여섯 쌍의 부모-검색어 쌍에서 검색 훈련은 콘텐츠를 포함하는 옵션의 제로샷 매칭을 개선했습니다. 그러나 미세 조정 후의 효과는 헤드에 따라 달라지는데, 다섯 쌍과 세 가지 훈련 세트 크기에서 검색 훈련은 검색 사전(prior)을 유지하는 PFR에 15개 비교 중 10개에서 유의미하게 도움을 주었지만, C에는 한 번 도움을 주었고 다섯 번은 해를 끼쳤습니다.

두 개의 헤드와 다섯 가지 훈련 목표에 대한 일치하는 그리드를 통해 C가 모든 목표에서 PFR보다 우수함을 확인했습니다. 또한 공개된 System One 모델의 RLCD 레시피는 교차 엔트로피보다 2.5~3.0 포인트 낮은 것으로 나타났는데, 이는 보상 정규화에서 비롯된 노이즈 점수 함수 항이 3.6~15배로 부풀려지기 때문입니다.

온도 스케일링 후에는 어떤 목표도 교차 엔트로피보다 명확하게 더 잘 보정되었다고 할 수 없으며, 연구진은 코드, MEDLINE-S1 레이블, 그리고 모델을 공개했습니다.

기존의 Simulink 벤치마크는 생성된 모델이 컴파일되거나 실행되거나 참조 모델과 유사한지 여부만을 평가하며, 모델이 실제 공학적 요구사항을 충족하는지 여부는 검증하지 못합니다. 이에 연구진은 10가지 공학 도메인에 걸친 101개의 텍스트-실행 가능 Simulink 모델 생성 작업을 평가하는 벤치마크인 SimuVerity를 도입했습니다. 이 벤치마크는 각 작업에 대해 실행 시스템 프로파일과 네 가지 가족의 네이티브 시뮬레이션 시나리오를 사용하여 공학적 사양을 구체화합니다.

SimuVerity는 계층적 평가자를 통해 아티팩트 전달, 네이티브 실행 가능성, 공학적 자격 등을 먼저 확인한 후, 정확도, 출력 품질, 메커니즘 충실도, 제어 및 인과성 무결성, 작동 도메인 견고성, 동적 응답 등 여섯 가지 차원을 기준으로 모델을 점수화합니다. 여섯 가지 에이전트 시스템을 평가한 결과, 최고 시스템은 전체 점수 42.86점을 달성했습니다.

이 결과는 구조적 유사성이 공학적 성능의 적절한 척도가 아님을 보여줍니다. 실제 구현을 생성하고 자격을 획득한 후 다차원적 요구사항을 만족시키는 과정에서 능력 병목 현상이 발생하기 때문입니다. 또한 일부 고득점 모델들은 여전히 심각한 시각적 레이아웃 불규칙성을 보였습니다. SimuVerity는 에이전트의 공학적 능력을 체계적으로 평가하고 실행 가능한 Simulink 모델 생성의 실패를 진단하는 데 필요한 기준을 제공합니다.

대규모 사전 학습 모델에서 발생하는 파국적 망각(catastrophic forgetting) 문제를 해결하기 위한 새로운 프레임워크인 로컬 지원 학습(Local Support Learning, LSL)을 제안합니다. 이 연구는 망각을 각 가중치 행렬의 입력 공간에서의 기하학적 문제로 간주하고, 경사 기반 최적화가 생성하는 업데이트가 최적이 아닌 자연스러운 보존 목표가 있음을 밝혀냈습니다.

LSL은 이전 데이터에 접근하지 않고도 이전 능력을 보존하기 위해 경사 기반 학습을 보강하는 범용 프레임워크입니다. 새로운 학습 단계에서 LSL은 표준 가중치 어댑터와 게이팅 함수라는 두 구성 요소를 쌍으로 사용합니다. 이 게이팅 함수는 어댑터를 해당 학습 분포의 입력 활성화에 대해서만 활성화시켜 업데이트를 해당 분포에 국한시키며, 이는 이전 능력 보존에 필수적입니다.

이러한 데이터 흐름의 충돌 문제를 해결하기 위해 연구진은 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 기반의 게이트를 사용합니다. GMM은 훈련 데이터에서 멀어질수록 가능도가 빠르게 감소하여 이전 단계의 데이터에 대해 닫혀 있도록 하는 자연스러운 경향을 제공합니다.

연구 결과, 이 후처리 접근 방식은 최대 70억 개의 매개변수를 가진 거대 언어 모델(LLM)에서 망각을 해결하고 여러 학습 단계에 걸쳐 사전 학습된 능력과 미세 조정된 능력을 모두 보존할 수 있음을 보여줍니다. 또한 LSL은 메모리와 컴퓨팅 측면에서 효율적이며 하이퍼파라미터 선택에 강건하고 확장 잠재력을 가지고 있습니다.

Looped Transformers는 공유 트랜스포머 블록을 반복 적용하여 파라미터 수 증가 없이 LLM의 유효 깊이를 늘리는 새로운 스케일링 축을 제시합니다. 그러나 대규모 MoE LLM에서 FLOPs 기반 비교 하에 루핑의 이점이 명확하지 않은데, 이는 추가 반복에서 얻는 이점이 빠르게 감소하거나 심지어 성능 저하로 이어질 수 있기 때문입니다.

연구진은 루핑된 MoE를 확장하는 데 있어 두 가지 주요 장애물을 식별했습니다. 첫째는 깊이의 저주를 물려받아 반복마다 잔차 업데이트가 누적되어 은닉 상태 분산이 증가하고 표현이 표류하는 현상입니다. 둘째는 전문가 선택 붕괴 현상으로, 라우터가 루프를 거치면서 동일한 전문가를 반복적으로 선택하여 추가적인 계산은 발생하지만 계산 다양성은 증가하지 않는 문제입니다.

이러한 진단을 바탕으로 연구진은 각 루프가 새로운 계산을 기여하면서도 재귀 상태를 안정적으로 유지하는 LOOM이라는 원칙을 제안했습니다. LOOM은 잔차 업데이트를 조정하고 입력 임베딩을 재주입하며, 루프별 라우터를 통해 다양한 전문가를 참여시키고 이전 출력을 전달하는 방식으로 재귀를 안정화하고 다양성을 확보합니다.

실험 결과, 100M에서 1.7B 모델에 걸쳐 9~12 루프까지 안정적인 스케일링이 확인되었습니다. FLOPs 일치 조건에서 700M 모델은 5 루프에서 가장 좋은 성능을 보이며, 퍼플렉시티는 18.36에서 16.54로, 평균 제로샷 정확도는 38.84%에서 39.53%로 향상되었습니다. FLOPs 불일치 조건에서는 1.7B 모델이 60B 토큰으로 학습했을 때 9 루프에서 최고 성능을 달성하여, 퍼플렉시티는 9.62에서 7.77로, 평균 제로샷 정확도는 42.4%에서 47.7%로 개선되었습니다.

학술 연구 생태계는 연구자, 기관, 자금 지원 기관, 협력 네트워크, 그리고 학술 문헌이 함께 진화하는 장기적인 생태계로 이해됩니다. 인공지능이 연구 주기 전반에 걸쳐 점점 더 관여함에 따라 이러한 상호 연결되고 진화하는 과정을 이해하는 것이 중요해지고 있습니다. 이에 연구자들은 학술 연구 생태계를 연구하기 위한 지속적이고 폐쇄 루프 형태의 LLM 에이전트 시뮬레이션 프레임워크인 SciUtopia를 소개합니다.

SciUtopia는 연구 방향 선택, 협력, 제출, 동료 검토, 재제출, 인용, 자금 지원, 연구자 이탈과 같은 상호 연결된 과학적 과정을 시뮬레이션하며, 시뮬레이션된 연도에 걸쳐 상태를 유지합니다. 이 프레임워크는 설정 가능한 기관 메커니즘과 정보 채널을 제공하여 대조 실험 및 목표 지향적 개입을 위한 통제된 테스트베드를 제공합니다.

61개의 시뮬레이션 세계에서 SciUtopia는 8,000개 기관의 40,000명 이상의 연구자를 시뮬레이션하며 약 400,000건의 출판 결정과 120만 건의 LLM 생성 동료 검토를 산출했습니다. 이 장기 시뮬레이션을 통해 연구자들은 거절로 인한 재제출이 인구 증가만으로도 검토자의 부담을 크게 증폭시킨다는 사실을 발견했습니다.

또한, 신중한 탐색은 인용 영향력과 경력 성공, 그리고 장기적인 주제 다양성을 균형 있게 맞춘다는 점과, 초기 자금 지원에서 명확한 누적 이점을 보이지 않더라도 자원 불평등이 발생할 수 있다는 점을 확인했습니다. 이 연구는 학술 생태계의 복잡성을 이해하고 AI를 활용하여 시스템을 분석하는 데 중요한 통찰을 제공합니다.

기존 3차원 대규모 언어 모델(LLM)들은 두 가지 측면에서 한계를 보였습니다. 첫째, 형태를 잠재 코드북 인덱스나 좌표 텍스트로 압축하여 모델이 관찰하는 공간 구조를 제거합니다. 둘째, 백본을 미세 조정하여 3차원 양식을 획득하는 과정에서 모델의 일반적인 언어 능력이 손상됩니다.

이에 OctLLM은 이러한 한계를 해결하기 위해 제안되었습니다. 지오메트리는 옥트리 점유 토큰의 명시적인 3차원 시퀀스로 입력되며, 깊이에 따라 옥트리 시퀀스가 급격히 증가하는 문제를 해결하기 위해 OctLLM은 공간 인식 마스크 모델링 생성 및 3차원 이해를 위한 더 짧은 좌표 및 깊이 기반의 희소 옥트리(S-Octree)를 산출합니다.

또한, 기존 방법들이 전체 미세 조정이나 LoRA를 통해 새로운 양식을 도입할 때 언어 경로를 수정하는 단점이 있었던 반면, OctLLM은 사전 학습된 파라미터와 별도로 3차원 용량을 추가합니다. 메시 토큰은 독립적인 학습 가능한 분기에 라우팅되고 텍스트 및 이미지 토큰은 고정된 시각-언어 경로를 유지하며 공유 자기 주의를 통해 상호작용합니다.

이러한 접근 방식은 전체 미세 조정보다 훨씬 적은 파라미터를 학습시키면서도 통합 멀티모달 LLM 중 새로운 최고 성능을 달성했습니다. OctLLM은 이미지-3D FID를 17.4% 낮추고 렌더링 기반 캡셔닝을 ShapeLLM-Omni보다 28.7포인트 높였으며, 일반 언어 벤치마크에서는 백본과 동일한 성능을 보였습니다.

장기적인 부분 수준 3D 편집에 대한 벤치마크인 EditHero가 발표되었습니다. 기존의 3D 편집 방법들은 보통 단일 수정에 초점을 맞추지만, 실제 에셋 제작은 요청된 변경 사항을 유지하면서 모든 것을 변경하지 않는 긴 수정 시퀀스를 필요로 합니다. EditHero는 자연어 지시와 기하학 및 텍스처에 대한 목표 이미지를 사용하여 장기적인 부분 수준 3D 편집을 위한 최초의 벤치마크를 제시합니다.

이 벤치마크는 결정론적 조립 엔진을 사용하여 매 수정 후 정확한 목표를 생성하며, 모든 시퀀스는 수동으로 검토됩니다. EditHero를 통해 두 가지 상반된 3D 편집 접근 방식을 비교했습니다. 비에이전트 방법은 학습된 3D 표현에서 객체를 재생성하고 유지할 부분을 추론하는 상향식(top-down) 방식으로 작동합니다. 반면, LLM/VLM 에이전트는 메시를 검사하고 지시에 따라 필요한 부분만 다시 작성하는 코드를 통해 편집하는 하향식(bottom-up) 방식으로 작동합니다.

비에이전트 방법은 요청된 변경 사항을 놓치거나 고정되어야 할 영역을 방해하는 경향이 있습니다. 반면, 대부분의 LLM은 지시를 더 충실히 따르며 수정되지 않은 부분을 더 잘 보존하지만, 각 편집 작업에는 수 분이 소요됩니다. 연구자들이 신뢰할 수 있는 반복적인 3D 편집을 지원할 수 있도록 이 엔진과 편집 시퀀스를 공개할 예정입니다.

비디오 생성 모델이 신체화된 계획 및 학습을 위한 세계 시뮬레이터로 탐구되고 있습니다. 이러한 모델이 효과적으로 작동하려면 시각적으로 매력적인 프레임을 생성할 뿐만 아니라 목표 지향적인 행동을 실행할 때 환경이 어떻게 동적으로 변화하는지를 예측할 수 있어야 합니다. 현재의 평가 벤치마크들은 주로 단일 짧은 행동이나 단계별 지침에 초점을 맞추고 있어, 여러 실제 세계 조작을 통해 고수준 목표를 달성하기 위해 계획을 필요로 하는 시점 중심 비디오 생성에서는 다단계 물리적 추론이 충분히 탐구되지 못하고 있습니다.

이러한 격차를 해소하기 위해 연구진은 Ego2Act라는 목표 지향적 벤치마크를 소개합니다. Ego2Act는 일상적인 환경 설정, 객체 혼잡도, 다단계 복잡성을 다양하게 포함하는 110개의 실제 세계 작업에서 얻은 2,640개의 비디오를 특징으로 합니다. 이 벤치마크는 초기 장면 이미지와 고수준 목표가 주어졌을 때, 비디오 생성 모델이 손이 객체를 조작하여 작업을 수행하는 현실적인 시점 중심 비디오를 생성할 수 있는지 평가합니다.

또한, 평가의 확장성을 지원하기 위해 참고 자료 없이 인간의 합의와 관련 기준선보다 더 나은 작업 완료 및 물리적 타당성 평가 정렬을 달성하는 참고 자료 없는 평가 파이프라인인 Ego2ActJudge를 도입했습니다. 연구 결과에 따르면, 모델이 생성한 시뮬레이션은 종종 단계를 건너뛰거나 부분적으로 실행하여 후속 단계에 필요한 종속 상태가 누락되어 목표가 달성되지 않는 경우가 발생합니다. 더욱이 모델들은 복잡한 객체 조작과 지속적인 세계 모델링 중 미세한 물리적 역학에 일관되게 실패하는 것으로 나타났습니다.

Ego2Act는 비디오 모델을 물리적으로 타당하고 목표 지향적인 시뮬레이션으로 발전시키는 데 있어 엄격한 테스트베드를 제공할 것으로 기대됩니다.

구글의 프로젝트 선캐처(Project Suncatcher) 시제품 위성이 궤도에 진입했습니다. 이 위성은 Planet과의 파트너십을 통해 개발되었으며, SpaceX의 Transporter-18 우주선을 이용해 발사되었습니다. 연구팀은 위성과 성공적으로 통신했으며 현재 정상적으로 작동하고 있음을 확인했습니다.

이는 우주 공간이 확장 가능한 머신러닝 인프라를 수용할 수 있는지 탐구하는 장기적인 연구의 첫걸음입니다. 구글 연구팀은 앞으로 몇 주 동안 이 위성에서 데이터를 수집하여 TPU가 우주 비행의 물리적 스트레스, 방사선 및 열 극단 조건에 어떻게 반응하는지 분석할 계획입니다.

이러한 실험을 통해 얻은 데이터는 설계 개선에 사용될 것이며, 이 임무의 배경이 된 연구 내용은 Joule에 게재된 동료 심사 논문을 통해 확인할 수 있습니다. 우주 환경에서 테스트해야만 얻을 수 있는 결과들이기에, 연구팀은 임무가 진행됨에 따라 더 많은 정보를 공유할 예정입니다.

키워드 매칭 벤치마크가 실제 수행하지 않은 도구 사용에 대해 소형 모델에게 잘못된 신호를 부여한다는 사실을 문서화하고, 이를 검증하기 위한 저렴하고 엄격한 진단 절차를 제안합니다. 연구진은 스페인 보안 언어 모델 쌍을 사용하여 이러한 오탐(false positive) 현상을 입증했으며, 661.6M 파라미터 모델과 1,109M 모델을 비교했습니다.

두 모델은 디코더, 토크나이저, 특수 토큰을 공유하며 관대한 도구 사용 지표에서 거의 동일한 점수를 얻지만, 훈련 예제에 대한 문자 그대로의 재현 검사에서는 완전히 분리됩니다. 600M 모델은 6/6 예제에서 유효한 도구 호출을 생성하는 반면, 1B 모델은 체크포인트 전반에 걸쳐 0/6 예제에서만 이를 수행했습니다. 이는 1B 모델의 실패가 웹 중심 훈련 단계에서 지워진 누락된 이전 토큰(도구 호출에 대한 확률 $10^{-4}$~ $10^{-5}$)으로 인해 발생함을 첫 토큰 탐색을 통해 특정했습니다.

연구진은 목표 지향적인 SFT(Supervised Fine-Tuning) 레시피를 통해 1B 모델을 복구했는데, 이 과정은 실패한 단계보다 세 자릿수 적은 토큰을 사용했습니다. 이 복구 작업은 유효한 발현율을 크게 높였으며, 복구된 1B 모델은 보지 못한 프롬프트에서 600M 모델보다 높은 성능을 보였습니다. 또한 임베딩 드리프트 검사를 통해 복구 과정이 트리거 토큰의 임베딩을 이동시키지 않았음이 확인되어, 변화가 주변 네트워크에 존재함을 시사합니다.

이러한 저렴한 진단 절차는 CPU 시간을 몇 분으로 소모하며, 소형 모델의 도구 사용 주장에 대한 신뢰도를 걸러내는 데 사용되어야 합니다. 이는 도구 사용 능력에 대한 주장을 제한하는 데 중요한 기준을 제공합니다.

온폴리 자가 증류(on-policy self-distillation)는 자신을 동결하거나 EMA(Exponential Moving Average) 버전으로 감독하여 언어 모델의 추론 능력을 향상시키는 효과적인 접근 방식으로 주목받고 있습니다. 하지만 이러한 방법이 멀티모달 대규모 언어 모델(MLLMs)에 적용되는 것은 아직 탐구되지 않았습니다. 기존 연구들은 질문에 해당하는 이미지 자르기(image crops)와 같은 특권적인 시각 정보를 사용하여 미세한 지각 능력을 개선했지만, 이는 인간 주석 데이터나 외부 교사 모델을 필요로 하거나 특정 시각 확대 작업에 국한되는 한계가 있었습니다.

본 연구는 MLLM을 위한 새로운 형태의 온폴리 자가 증류를 제안하며, 교사에게 쿼리에 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적으로 기반한 안내를 제공합니다. 연구진은 자동으로 객체 정체성과 공간 좌표가 제공되는 절차적으로 생성된 장면을 사용하여 주석 없이 확장 가능한 후처리 훈련을 가능하게 했습니다. 교사는 이 공간적 안내를 사용하여 여러 관련 이미지 영역에서 증거를 찾고 통합하며, 학생은 이미지와 질문만으로 결과 행동을 재현하도록 학습합니다.

이 접근 방식은 카운팅, 문서 및 차트 이해 벤치마크에서 여러 모델의 성능을 일관되게 개선했습니다. 특히 후처리 훈련에 합성 장면만을 사용했음에도 불구하고, 결과는 실제 세계 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이는 공간적으로 기반한 특권 정보가 온폴리 자가 증류를 통해 더 광범위한 지각 능력을 유도하여, 훈련에 사용된 데이터 분포를 넘어선 실질적인 합성-실제 전이를 가능하게 함을 보여줍니다.

Looped Transformers는 순환 루프를 통해 공유 블록을 반복 실행함으로써 파라미터 효율성을 달성합니다. 각 루프는 동일한 다음 토큰에 대해 디코딩 가능한 중간 표현을 제공하지만, 표준 디코딩은 이전 상태를 버립니다. 따라서 이전 루프는 계산량이 적기 때문에 보조 모델이나 외부 훈련 없이도 정렬된 약한 예측과 강한 예측 쌍을 본질적으로 제공합니다.

이러한 원리를 바탕으로, 연구진은 훈련 없이 토큰 선택을 안내하는 대조적 디코딩 프레임워크인 LoopCD를 소개합니다. LoopCD는 최종 예측과 이전 순환 통과를 대조하여 토큰 선택을 유도하며, 이는 로그잇 공간에서 추가 출력 패스를 사용하는 LoopCD-Logits 또는 제로 출력 오버헤드를 사용하는 LoopCD-Hidden 형태로 구현됩니다.

네 가지 루프된 트랜스포머 패밀리에 걸쳐 LoopCD는 전체 순환 깊이에서 상당하고 일관된 성능 향상을 제공합니다. LoopCD-Logits는 Ouro-2.6B-Thinking의 AIME 2024 pass@1을 61.88%에서 73.33%로 향상시켰으며, LoopCD-Hidden은 Huginn의 HumanEval pass@1을 22.56%에서 31.71%로 끌어올렸습니다.

결과적으로 이러한 성능 향상은 순환 루프 수를 절반으로 줄이면서도 전체 깊이의 비지도 기준선과 동등하거나 능가하는 성능을 달성하게 합니다. 또한, 이는 순방향 FLOPs를 22.5%에서 48.2%까지 줄여 추론 컴퓨팅을 크게 감소시킵니다. LoopCD는 중간 순환 상태를 효과적인 안내 신호로 변환하여 디코딩 품질을 높이는 동시에 추론 계산량을 대폭 줄입니다.

세계 모델링에서 장면의 미래 진화를 예측하는 것은 근본적인 능력입니다. 최근 연구들은 Vision Foundation Models(VFM)의 특징 공간에서 작업하는 것이 다양한 미래 장면 이해 작업을 지원하는 의미적으로 풍부한 표현을 제공함을 보여주었습니다. 하지만 기존 접근 방식들은 VFM 특징을 먼저 고정된 차원 축소(예: PCA)나 독립적으로 학습된 오토인코더를 사용하여 압축한 다음, 그 결과로 나온 잠재 공간 위에 별도의 예측기를 훈련하는 2단계 파이프라인에 의존합니다. 이러한 표현 학습과 시간 예측의 분리, 또는 원시 VFM 특징에 예측기를 직접 적용하는 방식은 잠재 공간이 예측 가능한 동역학을 위해 구조화되어 있다는 보장을 제공하지 못합니다.

본 논문에서는 잠재 공간을 시간적 예측을 지원하도록 명시적으로 형성하는 엔드투엔드 프레임워크인 Latent-Foresight를 제안합니다. 이 프레임워크는 잠재 토크나이저와 흐름 기반 생성 동역학 모델을 공동으로 학습하여 표현을 구조화합니다. 안정적인 공동 최적화를 위해 잠재 붕괴를 방지하고 재구성을 생성 목표와 일치시키는 몇 가지 핵심 설계 선택을 도입했습니다.

광범위한 실험 결과, Latent-Foresight는 더 시간적으로 일관성 있는 잠재 표현을 학습하며 여러 미래 장면 이해 작업과 예측 범위에서 2단계 기준선보다 일관되게 우수한 성능을 보였습니다. 특히 고해상도 적응을 포함한 별도의 훈련 단계를 제거하면서도 이러한 성능을 달성했습니다. 구현 코드와 모델 가중치는 https://github.com/Sta8is/Latent-Foresight에서 제공됩니다.

스트리밍 비디오 LLM은 미래 작업에 대한 관련성이 알려지기 전에 증거를 보존하고 충분한 증거가 확보될 때 응답해야 하는 과제를 안고 있습니다. 이 과정에서 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 기억을 형성하는 것이 핵심적인 도전 과제입니다. 연구진은 이러한 문제를 해결하기 위해 쿼리 독립적인 증거 기록과 작업 응답을 공유하는 선제적 생성 과정을 통해 함께 학습하는 OneStreamer를 제안했습니다.

OneStreamer는 선제적 계층적 캡션 메모리(PHCM)를 통해 시간 기반의 국소 세부 캡션과 완료된 이벤트의 요약을 생성합니다. 추론 시 모델이 생성한 기록은 최근 시각 창을 보완하여 과거 시각 특징을 다시 검토하지 않으면서 재사용 가능한 사실적 맥락을 제공합니다. 또한 선제적 상태 전환 학습(PSTL)은 모든 출력 앵커에서 감독을 보존하고 대표적인 상태 변화 및 상태 지속 토큰을 선택함으로써 반복적인 대기 상태의 지배력을 줄입니다.

이러한 방법론을 결합하여 생성된 스트리밍 캡션과 질의응답을 정리된 오픈 소스 데이터와 결합하여 100만 건 이상의 기록을 포함하는 광범위한 스트리밍 비디오 상호작용 데이터셋인 OneStreamer-1M을 구축했습니다. 40억 개의 모델은 8가지 스트리밍 비디오 이해 벤치마크에서 비교된 방법들 중 최고의 결과를 달성했습니다. 추가 분석 결과, 생성된 캡션을 보존하는 것이 실시간 인식 저하 없이 과거 질의응답을 개선하며, PSTL은 27.5%의 주석 처리된 상태 토큰만 감독하는 밀집 상태 감독보다도 우수한 성능을 보였습니다.