읽을 가치가 있는 기사만, 짧고 또렷하게.

언어 모델의 임베딩 용량을 트랜스포머 계산과 함께 확장하는 추세에 따라, 본 연구는 Per-Layer Embeddings(PLE)의 극단적인 압축 방법을 탐구합니다. PLE는 Gemma 4 E4B 모델 파라미터의 35.2%를 차지하며, 이러한 압축 추세는 고압축률을 더욱 유용하게 만듭니다. 기존 양자화 기법들은 각 토큰-레이어 벡터에 몇 바이트의 코드를 할당하는 반면, 연구진은 토큰당 양자화된 코드 튜플을 저장하고 레이어별 어파인 디코더를 사용하여 모든 레이어에서 디코딩하는 OPTIC(Output-Path-fitted, Token-shared Indexed Codes) 방식을 개발했습니다.

OPTIC는 저장된 벡터가 아닌 PLE 출력 경로에 코드를 맞추어 코드를 저장하고 디코딩함으로써 효율성을 높입니다. bfloat16(BF16) E4B 모델에서 PLE를 약 100배 압축했을 때, OPTIC는 7개 벤치마크 전반에 걸쳐 압축되지 않은 모델 성능의 97.8%를 유지하는 반면, 가장 강력한 6가지 기존 기준 중 하나인 제품 양자화(product quantization)는 66.3%의 성능만을 유지했습니다.

더 극단적인 압축률에서도 OPTIC는 우수한 성능을 보입니다. BF16 E4B를 594배 또는 1,002배 압축했을 때도 OPTIC는 각각 90.5%와 84.1%의 성능을 유지했습니다. 또한, 4비트 선형 가중치 및 16비트 활성화(W4A16)를 사용한 공식 E4B 릴리스에서 PLE를 약 100배 압축했을 때도 OPTIC는 96.9%의 성능을 유지했습니다.

추가적으로, 100배의 PLE 압축 시 추론 과정에서 BF16 E4B는 동일한 키-값 캐시 크기에서 압축되지 않은 PLE보다 GPU 메모리를 29.7% 적게 사용하며 최대 0.40% 느리게 실행됩니다. 이는 고성능 모델에서 메모리 효율성과 속도를 동시에 개선할 수 있음을 보여줍니다.

텍스트 그래프 소프트 프롬프팅에서 발생하는 토큰 붕괴 현상에 대한 심층 분석 결과를 제시합니다. 그래프 신경망(GNN)이 텍스트 프롬프트 내 엔티티 간의 관계 정보를 포착하는 그래프 특화 토큰을 학습하는 그래프 소프트 프롬프팅 방법론을 다루고 있습니다. 특히 그래프 소프트 프롬프트를 강화하기 위해 그래프에 대한 구두 설명(verbalized description)을 결합한 G-Retriever에 대한 분석을 통해 토큰 붕괴라는 병리학적 행동을 발견했습니다.

연구 결과에 따르면, 세 가지 벤치마크, 세 가지 그래프 인코더, 두 가지 LLM 패밀리, 그리고 동결 및 LoRA로 적응된 모델 전반에서 G-Retriever의 그래프 토큰은 입력에 관계없이 거의 구별할 수 없게 됩니다. 또한, 다중 토큰 풀링을 사용하더라도 이러한 실패는 후속 방법들로 상속됨을 입증했습니다. 표준 설정에서 토큰을 데이터셋 평균이나 다른 예시에서 가져오거나 손상된 그래프에서 파생된 토큰으로 교체해도 정확도에 해결되는 수준의 영향을 미치지 않았습니다.

이러한 발견은 붕괴된 토큰이 의도된 그래프 콘텐츠를 전달하기보다는 주로 일반적인 소프트 프롬프트로 기능함을 시사합니다. 연구진은 이러한 붕괴와 관련된 조건을 조사하고 대부분의 경우 경쟁력 있는 성능을 유지하면서 붕괴되지 않은 토큰을 산출하는 2단계 절차를 제안했습니다.

궁극적으로 이 연구는 작업 정확도만으로 그래프 토큰 정렬을 추론하는 대신 그래프-토큰 정렬을 평가하는 실용적인 접근 방식을 제공합니다. 추가적인 실험을 통해 토큰의 가변성만으로는 모델이 그래프 정보를 사용했는지 증명되지 않으며, 토큰은 질문, 이전 답변, 또는 LLM이 사용하거나 사용하지 않을 수 있는 그래프에서 파생된 콘텐츠를 반영할 수 있음을 확인했습니다.

로보틱스 파운데이션 모델의 생명 주기는 데이터 레이블에 크게 의존합니다. 실제 배포 모니터링을 위한 결과 보상 레이블, 강화 학습 후 훈련을 위한 과정 보상 레이블, 그리고 사전 훈련 데이터 필터링과 균형을 위한 타임스탬프 캡션이 필수적입니다. 이에 따라 본 연구진은 GR00T 모델 훈련에 사용되는 산업 품질의 데이터 엔진인 플로라(Flora)를 제시합니다.

플로라는 이러한 모든 기능을 동시에 수행하며 캡셔닝 벤치마크인 WGO-Bench와 보상 벤치마크인 RoboReward 및 Robometer에서 최고 성능을 달성했습니다. 내부 벤치마크에서도 플로라는 GPT-6 Astra와 경쟁할 수 있을 뿐만 아니라 다른 최첨단 모델들을 능가하는 성과를 보였습니다. 특히 플로라는 API 기반 대안 모델보다 약 125배 저렴하여 비용 효율성 면에서 큰 이점을 제공합니다.

플로라는 대규모로 검증되었으며 하루에 200,000시간의 데이터를 512 GB300s에서 레이블링하는 능력을 입증했습니다. 이 데이터 엔진을 오픈 소스로 공개함으로써 연구자들은 맞춤형 로보틱스 데이터셋을 확장하고 물리적 자율 연구나 인간-로봇 전달과 같은 새로운 응용 분야를 탐색할 수 있게 됩니다.

추측 디코딩은 더 빠르고 품질이 낮은 초안 모델에서 샘플링하여 자기회귀 대규모 언어 모델(LLM)의 추론 속도를 높이는 기술입니다. 전통적으로 추측 디코딩의 핵심 특징은 검증 분포에 대해 손실이 없으면서 속도를 보장하여 품질을 희생하지 않는다는 점이었습니다. 이는 최근 개발된 확산 LLM(dLLM)과 차이가 있는데, dLLM은 확산 노력을 줄임으로써 출력 품질을 저하시키는 방식으로 상당한 속도 향상을 달성할 수 있습니다.

확산 모델은 토큰을 병렬로 생성함으로써 자기회귀 모델보다 더 빠르게 샘플링할 수 있기 때문에 추측 디코딩의 초안 모델 후보로 강력하게 고려됩니다. 비록 확산 모델이 속도를 위해 품질을 희생할 수 있다는 것은 잘 알려져 있지만, 추측 디코딩 자체는 검증 분포에 대해 더 관대한 수용 기준을 사용하여 더 빠르게 손실이 있는 샘플을 생성함으로써 일반화될 수 있습니다.

본 논문은 확산 노력과 추측 디코딩의 관대함이라는 두 매개변수를 통해 달성 가능한 전체 파레토 전선을 탐구합니다. 실험 결과에 따르면 확산 노력과 수용 관대함을 공동으로 변화시킴으로써 단일 단계 확산 초안 작성에 대한 속도-품질 파레토 전선을 확장할 수 있음을 보여줍니다.

연구 논문에서 증명이나 가정에 작은 간극이 남아있을 수 있다는 점을 해결하기 위해 PaperFormalizer라는 Lean 기반 에이전트 파이프라인이 소개되었습니다. 이 도구는 LaTeX 소스에서 시작하여 논문을 종속성 그래프로 변환하고 각 문장을 자연어로 검토하여 충실도, 모호성, 정확성을 감사한 후, Mathlib 및 저자의 도구 세트를 사용하여 해당 문장들을 Lean으로 형식화하고 증명하는 과정을 수행합니다.

이 과정에서 형식화 간극을 해결하기 위해 파이프라인은 저자에게 질문을 던지며, 여러 해석이 가능한 문장에 대해 모든 수리 방안을 자연어와 TeX 기호로 제안하고 저자가 수락, 거부 또는 재지정할 수 있도록 합니다. 이 상호작용을 통해 저자는 논문의 주장에 영향을 미칠 수 있는 모든 결정을 내릴 수 있습니다.

PaperFormalizer는 최종적으로 주석이 달리고 수정된 논문, 변경 보고서, 그리고 각 선언이 형식화된 문장과 연결된 Lean 코드를 산출합니다. 이는 수학적 증명에 기반한 연구를 더욱 견고하게 만드는 것을 목표로 하며, 사용자들이 검증된 논문을 공유하여 다른 연구자들이 Lean 코드를 재사용할 수 있도록 합니다.

이 파이프라인은 Claude Code나 Codex와 같은 코딩 에이전트 내에서 실행되며 GitHub(https://github.com/Jiyuan-Tan/PaperFormalizer)에서 이용 가능합니다. 또한 사용자들은 Lean 코드가 공유된 논문을 https://paperformalizer.org에서 확인할 수 있습니다.

비전-언어-행동(VLA) 모델은 시각적 지각, 언어 이해, 행동 생성을 통합하여 로봇 조작을 위한 중요한 패러다임으로 자리 잡았습니다. 안정적인 조작을 위해서는 물체, 엔드 이펙터, 그리고 이들의 공간 관계에 대한 충분한 관찰이 필요하기 때문에, 보완적인 공간 정보를 제공하는 멀티 뷰 입력이 널리 사용되어 왔습니다. 그러나 기존 VLA 모델들은 이러한 멀티 뷰 상호 보완성을 충분히 활용하지 못한다는 실험 결과가 나왔습니다.

기존 정책은 손목 뷰에 지속적으로 의존하는 경향이 있어 조작 단계 전반에 걸쳐 글로벌-로컬 뷰 의존성을 동적으로 조정하는 능력이 부족하며, 이는 단계 적응성과 견고성을 제한합니다. 이러한 문제를 해결하기 위해 연구진은 단계 인식을 고려하는 멀티 뷰 라우팅 프레임워크인 FocusVLA를 제안했습니다. FocusVLA는 과거 행동으로부터 미래 상호작용 의도를 예측하고 이를 행동 생성 중 동적 뷰 라우팅을 안내하는 데 사용합니다.

FocusVLA는 서로 다른 작업 단계 전반에 걸쳐 글로벌 및 로컬 관찰을 적응적으로 조정함으로써 멀티 뷰 활용도를 개선합니다. RoboTwin 2.0 환경에서 FocusVLA는 가장 강력한 기준선 $\pi_{0.5}$ 대비 평균 성공률을 10.10 퍼센트 포인트 향상시켰습니다. 실제 환경 평가에서는 성공률을 71.7 퍼센트에서 85.0 퍼센트로 개선하여 $\pi_{0.5}$ 대비 13.3 퍼센트의 이득을 달성했습니다. 또한 FocusVLA의 의도 예측 및 동적 라우팅 모듈은 핵심 아키텍처를 수정하지 않고 기존 VLA 프레임워크에 통합될 수 있습니다.

사전 학습된 LeWorldModel(LeWM)이 작은 행동 변화의 영향을 얼마나 정확하게 재현하는지 조사한 연구 결과가 발표되었습니다. 연구진은 일치하는 시뮬레이터 및 모델 응답을 사용하여 그램 행렬을 통해 행동 민감도를 세 가지 교란 규모에서 측정했습니다.

Reacher 및 OGBench Cube의 거의 천 개 상태에 걸쳐 가장 민감한 행동 방향은 가장 작은 규모에서 각각 약 36도와 42도의 중앙 각도로 차이가 났습니다. 또한 교란을 10배 증가시키면 Reacher에서는 정규화된 그램 불일치(normalized Gram discrepancy)가 약 70% 감소하고 Cube에서는 약 47% 감소하는 것으로 나타났습니다.

픽셀과 임베딩으로 측정된 기하학적 정보는 선택된 물리 상태 기하학보다 규모에 따라 더 크게 변화했습니다. 홀드아웃 방향에서 환경 그램은 등방성 참조(isotropic reference)와 동일한 자취(trace)를 가지는 경우 17%와 28%의 임베딩 응답 오류를 달성했지만, LeWM의 오류는 이 규모에서 더 높게 나타났습니다.

이러한 발견은 행동 민감도의 규모별 평가를 뒷받침하지만, LeWM이 제어에 미치는 영향에 대해서는 여전히 미해결 과제로 남아 있습니다.

시계열 데이터셋과 파운데이션 모델의 성장에 따라 데이터셋 비교는 시계열 워크플로우의 중심이 되었습니다. 모델 적응 전에 소스-타겟 전이(transfer)를 평가하려면 모든 후보 쌍에 대한 철저한 평가 없이 전이 관련 데이터셋 관계를 요약할 수 있는 유사성 추정치가 필요합니다. 기존에는 시계열 데이터셋 간의 유사성을 측정하는 여러 지표가 제안되었지만, 이들은 서로 다른 데이터셋 관계를 포착하며 다운스트림 작업 전반의 유용성과 얼마나 잘 일치하는지에 차이가 있었습니다.

연구진은 이러한 격차를 측정하기 위해 소스-타겟 유사성 점수와 분포 외(out-of-distribution) 및 전이 학습 설정에서의 다운스트림 예측 오류 간의 상관관계를 측정했습니다. 이를 바탕으로 도메인 통합 유사성 비용(Domain-Integrated Similarity Cost, DISC)이라는 학습 가능한 집계 프레임워크를 제안했습니다. DISC는 보정 전이 관찰을 사용하여 다양한 다운스트림 작업에 대해 유사성 지표를 선택하고, 가중치 부여하고, 결합하는 방식으로 작동합니다.

DISC는 상호 보완적인 지표 값들을 통합함으로써 다운스트림 행동에 실제로 중요한 소스-타겟 데이터셋 차이를 더 잘 구별해냅니다. 보정된 후 DISC 점수는 단일 지표 참조보다 보고된 분할에서 더 높은 정렬을 제공합니다. 이러한 결과는 시계열 데이터셋의 유사성이 작업에 따라 달라지며, 학습된 지표 통합이 수동으로 하나의 유사성 지표를 선택하는 것보다 다운스트림 전이 행동에 대한 더 강력한 대리 지표를 제공한다는 것을 보여줍니다.

멀티모달 추론 모델은 대규모 추론 지도 학습의 혜택을 받았지만, 데이터 품질의 불균형, 비효율적인 지도 학습 구성, 난이도의 불균형, 그리고 도메인 간 간섭으로 인해 신뢰할 수 있는 후처리 과정이 여전히 어렵다는 문제가 있습니다. 이에 본 논문은 오픈 데이터 기반의 후처리 레시피인 MMVistaReason(MVR)을 제안합니다.

MVR은 세 가지 구성 요소로 이루어져 있습니다. 첫째는 구조적 추론 대 시각 지각 및 공간 정렬을 강조하며 분석적 추론과 실제 세계 추론 그룹 간의 광범위한 능력 범위를 확보하는 것입니다. 둘째는 효율적인 지도 학습(SFT) 및 강화 학습(RL) 데이터 구성을 위해 단계적 정제 및 주석 작업을 통해 이질적인 오픈 데이터를 표준화하고, 난이도 인식된 순차적 교사 증류와 답변 가능도 기반 궤적 선택을 결합하여 MVR-SFT-528K를 구축합니다. 셋째는 상보적인 RL 전문가를 훈련하고 그들의 능력을 다중 교사 온폴리 증류(MOPD)를 통해 통합하는 특화 후 통합 훈련 방식입니다.

분석 결과, 지도 학습의 난이도, 궤적 품질, 모델 용량 간에 상호작용이 있음을 발견했습니다. 즉, 더 작은 모델은 선택된 지도 학습에서 더 많은 이점을 얻는 반면, 더 큰 모델은 궤적 변화와 혼합 도메인 간섭에 대해 더 강력한 견고함을 보입니다. 또한 혼합 도메인 강화 학습은 벤치마크 수준의 부정적 전이를 유발하지만, MOPD는 일관된 능력 통합을 제공하며 모델 규모에 따라 선호되는 KL 방향이 달라집니다.

이러한 접근 방식은 15개의 멀티모달 벤치마크에서 효과를 보였습니다. MVR-4B는 평균 72.8점을 달성하며 Qwen3.5-9B (Instruct) 및 MMFineReason-8B를 능가했으며, MMFineReason보다 약 70% 적은 샘플을 사용했습니다. 모델을 9B로 확장했을 때 평균 점수는 74.4로 향상되어 Qwen3.5-35B-A3B (Instruct)를 능가했습니다. 이는 체계적인 오픈 데이터 구성과 용량 인식 후처리가 신뢰할 수 있는 멀티모달 추론을 위한 실용적이고 확장 가능한 경로를 제공함을 입증합니다.

마이크로드라마의 급성장으로 인해 고품질 스크립트 제작에 대한 수요가 증가하고 있으며, LLM을 이용한 장편 마이크로드라마 스크립트 생성에는 다양한 플롯 전개와 장기적인 서사 일관성이 필수적입니다. 기존 방법으로는 생성 과정에서 후보 내용이 적은 서사 메커니즘에 집중하고, 검색 방식이 클리셰 재사용을 강화하며 미래 플롯에 필수적인 역사적 정보를 간과하는 문제가 발견되었습니다.

이러한 문제를 해결하기 위해 연구진은 트로프 메모리를 기반으로 한 진화적 트리 탐색 및 변이를 통해 다양한 인과 경로를 탐색하는 멀티 에이전트 파이프라인인 DraMaze를 제안했습니다. DraMaze는 또한 미래 서사 목표에 기반하여 역사적 기억을 정리하고 보존하며 검색할 수 있도록 후방 서사 의존성 트리(Backward Narrative Dependency Tree)를 구축합니다.

연구팀은 스크립트의 논리와 창의성을 평가하기 위한 이중 언어 벤치마크인 MiDramaBench와 서사 반복 및 다양성을 측정하는 인과 패턴 지표를 도입했습니다. 실험 결과, 세 가지 기반 LLM 전반에서 일관된 개선이 나타났으며, 60부 에피소드 분량(최대 6만 단어)의 스크립트에서 DraMaze는 인과 패턴 반복을 32.1% 감소시키고 논리 점수 82.5점을 달성하여 최고 성능의 기준 모델보다 8.5점 더 높은 성과를 보였습니다.

신경망의 가중치 표현 방식에 혁신을 가져오는 TWIG(Tree-structured Weights with Inherited Gates)를 소개합니다. TWIG는 신경망의 모든 가중치가 작은 이산적 결정들(부호, 2의 거듭제곱으로의 이동, 제로 게이트, 공유 테이블 인덱스)의 경로 끝으로 표현되는 방식입니다. 가중치들이 함께 속하면 경로의 상위 부분을 공유하며, 각 결정은 아래의 모든 가중치에 상속되어 한 번만 저장되고 적용됩니다.

이러한 단순한 변화는 여러 가지 결과를 낳습니다. 훈련된 모든 네트워크는 TWIG로 표현될 수 있으며, 결정이 2의 거듭제곱일 경우 가중치 레이어는 거의 전적으로 와이어와 가산기로 이루어진 회로가 되어 제조 시 고정된 가중치를 사용하는 칩에 적합해집니다. 또한 가지치기, 양자화, 저랭크 분해, 코드북, 가중치 공유와 같은 기술들이 하나의 객체의 편집으로 통합되어 단일 최적화기가 전체 네트워크에 대해 이 모든 것을 선택할 수 있게 됩니다.

결정 선택 문제는 더 높은 차수의 볼츠만 기계의 바닥 상태 문제와 연결되며, 이는 어닐러와 양자 최적화기가 해결하고자 하는 문제 클래스와 일치합니다. 특히 대규모 언어 모델의 다섯 개 가중치 행렬에 대해, 그룹 스케일이 없는 플랫 트리를 사용하여 각 가중치별로 부호 있는 2의 거듭제곱 항을 선택하여 회로 비용을 계산할 경우, 일반적인 행렬에서 GPTQ보다 9~15% 적은 덧셈을 필요로 합니다.

이는 3비트 및 4비트 정확도에서 동일한 레이어 오류를 보일 때 GPTQ보다 적은 연산을 요구하며, 이상치가 강한 행렬에서는 20~55% 적은 연산을 필요로 합니다. TWIG는 이러한 공통 형식들이 추가 비용 없이 얕은 TWIG로 표현됨을 보여줍니다.

인간 플레이어처럼 개방형 게임에서 작동하는 가상 체화 에이전트를 구축하기 위해서는 장기 자율성과 신뢰할 수 있는 네이티브 인터페이스 제어 능력이 필수적입니다. 마인크래프트와 같은 절차적으로 생성된 오픈 월드는 이러한 능력을 연구하기 위한 자연스러운 테스트베드를 제공합니다. 기존 에이전트들은 장기 자율성 없이 시각-운동 제어만 제공하거나 환경 API를 통한 고수준 계획만을 수행했습니다.

이러한 격차를 해소하기 위해 연구진은 능력 인식 에이전트 하네스를 갖춘 계층적 VLA 에이전트인 HiSTEVE를 제안했습니다. HiSTEVE는 오케스트레이션 수준에서 진행 상황을 추적하기 위한 구조화된 메모리와 VLM 플래너를 사용하여 VLA의 능력 내에서 하위 작업을 선택합니다. 또한, 정책 조건에 따라 완료를 신호하는 정책 결합 작업 완료 상태 검출기를 도입하여 하위 작업 완료를 신뢰성 있게 판단합니다.

제어 수준에서는 단일 VLA가 시각 정보만을 사용하여 모든 하위 작업을 수행하고 네이티브 키보드 및 마우스 동작을 실행합니다. 이 과정에서 이질적인 GUI 및 비-GUI 상호작용 간의 간섭을 줄이기 위해 체제별 RMSNorm 브랜치와 분리된 마우스 이동 토큰 임베딩을 도입했습니다.

또한, 환경 피드백을 통한 세계 지식 주입, 모방 학습, 강화 학습을 통해 VLA를 훈련하여 신뢰성과 복구 능력을 향상시켰습니다. HiSTEVE는 MineStudio 벤치에서 85.0%의 원자적 작업 성능과 OpenHA에서 37.4%의 평균 성공률을 달성했으며, 인간 플레이어처럼 철 픽스(iron pickaxe)를 처음부터 제작하는 것과 같은 장기 목표 작업도 완료했습니다.

월드 모델(WM)은 시뮬레이션 경험을 통해 멀티모달 에이전트(MA)를 지원하며, 에이전트의 궤적은 월드 모델의 개선에 기여할 수 있습니다. 이러한 상호작용을 평가하기 위해 행동 선택과 상태 진화에 대한 별도의 증거가 필요하며, 연구진은 물리적, 디지털, 사회적, 과학적 영역 전반에서 에이전트와 월드 모델을 테스트하는 Dual Exam을 도입했습니다.

Dual Exam은 에이전트를 고정된 환경 반응 메커니즘 하에서, 월드 모델을 고정된 행동 개입 하에서 평가합니다. 에이전트 추적에서는 10가지 구성이 1,088개 항목의 15가지 보고 범주에서 비교되었으며, GPT 6 Astra가 사례 가중 에이전트 지수에서 31.3점으로 선두를 차지했습니다. 월드 모델 추적에서는 여덟 가지 시나리오에 걸쳐 400개의 사례가 포함되었으며, GPT-Image-2가 전체 범위 월드 모델 점수에서 21.7점으로 선두를 보였습니다.

이러한 점수들은 서로 다른 작업과 측정 기준을 사용하므로 직접적으로 비교할 수 없습니다. 또한, 한 쌍의 결합 학습에 대한 150개 사례 파일럿에서는 작업 성공 사례가 전혀 기록되지 않아 구성 요소 수준의 진단이 필요함을 보여줍니다. 결과적으로 작업 관련 상태를 보존하는 데 실패하고 작업 성능이 불균등하다는 점이 드러났습니다.

이러한 결과는 결합 성공이나 지속적인 상호 학습을 예측하는 데 있어 해당 방법론의 가치를 아직 확립하지 못했음을 시사합니다. 따라서 향후 연구는 이러한 실패 요인을 분석하고 상호 학습의 예측력을 입증하는 데 중점을 두어야 합니다.

비전 언어 행동 모델(VLA)에서 작업 완료 및 실패를 인식하는 것은 로봇이 성공 시 멈추거나 실패 시 복구 또는 재계획을 시작할 수 있게 합니다. 기존 방법들은 실행 결정을 지원하기 위해 작업 상태 신호 예측을 VLA 정책에 추가하지만, 이러한 신호를 학습하고 통합하는 과정은 세밀한 감독, 외부 모니터링 모델 또는 복잡한 아키텍처를 요구합니다.

이에 본 연구는 프레임 수준의 진행 정보 주석 없이 작업 상태 신호 학습과 단일 VLA 내에서의 상태 예측 및 행동 생성을 결합하는 프레임워크인 Echo를 제안합니다. Echo는 각 행동 청크에 정지 및 실패 신호를 두 차원으로 추가하여 로봇 행동과 함께 노이즈 제거를 수행함으로써 진행 중인 실행, 성공적인 완료, 실패를 구별합니다.

Echo는 세밀한 진행 주석 없이 성공, 실패, 복구 궤적을 상호 보완적인 감독 속성으로 구축하여 상태 신호를 학습합니다. 또한, 상태 신호에 기반한 행동 생성을 가능하게 하기 위해 Echo는 신호와 행동 간의 상호작용을 제어하고 행동보다 더 빠르게 신호를 노이즈 제거합니다. 이는 후속 행동 노이즈 제거 단계가 더 깨끗한 상태 추정치를 조건으로 삼으면서도 정확한 신호 예측을 보존할 수 있게 합니다.

광범위한 실제 조작 실험 결과 Echo는 작업 상태를 정확하게 예측하며 정책 성능을 지속적으로 개선하는 것으로 나타났습니다.

라이브 e스포츠 방송은 인간 디렉터가 카메라 선택과 해설을 실시간으로 진행해야 하는 복잡한 과정을 요구합니다. 기존의 스트리밍 비디오 언어 모델들은 인간 디렉터가 이미 제작한 방송에 대해서만 해설을 수행할 수 있었습니다.

본 연구는 모델이 과거 정보만을 바탕으로 실시간으로 카메라를 지시하고 해설까지 수행하는 단일 스트리밍 비디오 언어 모델인 DirCast를 제시합니다. DirCast는 매 순간 모든 카메라를 저해상도로 스캔하여 홀드-오어-스위치 디렉터로서 컷을 결정하고, 이후 고해상도의 카메라를 읽어낸 후 해설을 진행합니다. 이 모델은 방송에서 발생한 내용과 발언을 기억하여 다른 시점의 정보를 소멸시키고 스트림의 비용을 제한하는 방식으로 효율성을 높입니다.

연구팀은 27개의 프로 Dota 2 경기 데이터와 인간 디렉터의 선택, 해설 내용을 포함하는 데이터셋을 구축하여 DirCast를 학습시켰습니다. 실험 결과, DirCast는 GPT-5를 포함한 규칙 기반 및 제로샷 디렉터보다 우수한 지시 능력을 보였습니다. 또한 해설 능력에서는 Proact-VL 프로토콜 하에서 GPT-4o 대비 29.2%의 우위를 보였으며, 가장 강력한 11명의 인간 스트리밍 해설가 중 19.4%의 성능을 기록했습니다.

에이전트 추천 시스템은 맥락에 따라 의사 결정을 순차적으로 수행하여 쇼핑객의 목표를 추구합니다. 이러한 정책을 개발하고 평가하기 위해서는 상호작용 환경과 장기간의 사용자 행동 반응을 모두 포착하는 충실한 추천 세계 모델이 필요합니다. 그러나 기존의 자원들은 장기적인 세밀한 실제 사용자 궤적이나 실제 A/B 테스트 결과에 대한 궤적 수준의 평가 및 오프라인 검증을 지원하는 데는 한계가 있습니다.

이에 연구진은 실제 이커머스 상호작용을 포함하는 실세계 벤치마크인 UserArena를 소개합니다. UserArena는 11,010명의 사용자로부터 64,729개의 세션 궤적을 포함하며 566,102개의 아이템과 13가지 행동 유형을 다룹니다. 이 벤치마크는 이러한 궤적을 상호작용 환경과 연결하고 통제된 실제 A/B 테스트 결과에 대한 오프라인 검증을 지원하여 출력 유효성부터 순차적 행동, 개인화, 결과에 이르는 다섯 가지 수준으로 평가할 수 있게 합니다.

또한, 이러한 장기 상호작용에 대한 시뮬레이터 충실도를 높이기 위해 온-폴리시 궤적 증류(On-Policy Trajectory Distillation, OPTD)를 제안했습니다. OPTD는 궤적 수준의 의도를 사용하여 학생이 생성한 시뮬레이션 결과에 대한 밀도 높은 교사 목표를 제공합니다. 실험 결과, OPTD는 UserArena의 평가 프로토콜 하에서 평가된 시뮬레이터들 중에서 가장 강력한 전반적인 충실도를 달성했으며 오프라인 시뮬레이션에서 실제 정책 효과를 가장 잘 재현했습니다.

확산 언어 모델(DLM)은 반복적인 노이즈 제거 과정을 거치기 때문에 고유한 양자화 문제를 안고 있습니다. 본 연구는 양자화 민감도가 작업과 시간에 따라 달라지며, 서로 다른 다운스트림 작업들이 노이즈 제거 단계별로 뚜렷하게 다른 정밀도 요구 사항을 보인다는 것을 밝혀냈습니다. 또한 이러한 패턴은 정답 레이블이나 작업별 평가 지표 없이도 예측할 수 있음을 보여줍니다.

이러한 발견을 바탕으로 연구진은 T 2Quant라는 작업 및 시간 인식 혼합 정밀도 양자화 프레임워크를 제안했습니다. T 2Quant는 레이블 없는 민감도 신호를 사용하여 고정된 비트 폭 예산 내에서 노이즈 제거 단계 전반에 걸쳐 활성화 정밀도를 최적으로 할당합니다.

광범위한 실험 결과는 세 가지 DLM과 여섯 가지 벤치마크에서 T 2Quant가 기존 양자화 방법들의 평균 정확도를 일관되게 향상시킨다는 것을 입증했습니다. 동일한 예산 하에서 최대 6.7퍼센트 포인트의 성능 향상을 달성했습니다.

프론티어 코딩 에이전트가 3D 모델링에 능숙해지고 있지만, 실제 물리적 세계에서 조립되어야 하는 물체를 만들 때 여전히 부유하거나 충돌하거나 분리된 부품을 포함하는 유효하지 않은 조립체를 생성하는 데 어려움을 겪고 있습니다. 연구진은 에이전트에게 조립 및 물리적 실현 가능성을 검증하는 도구를 제공하는 것이 입력 프롬프트에 부합하는 물리적으로 유효한 조립체를 생성하게 하는 데 충분하다고 주장합니다.

이러한 문제를 해결하기 위해 연구진은 레고 벽돌 조립 분야에 초점을 맞춰 사전 학습된 에이전트를 사용하여 텍스트나 이미지 프롬프트로부터 물리적으로 실현 가능한 벽돌 조립체를 생성하는 프레임워크인 BrickWright를 제시했습니다. BrickWright는 조립체에 실제 부품만 사용하고 충돌하거나 부유하는 부분이 없으며 가능한 경우 연결된 구조를 형성하는 것을 물리적 실현 가능성의 기준으로 정의합니다.

BrickWright는 에이전트가 BrickLayer라는 파이썬 툴킷을 사용하여 조립체를 생성하도록 안내하는데, 이 툴킷은 추론 비용을 원시 LDraw 작업보다 절반으로 줄이는 인체공학적인 벽돌 조립 API와 물리적 실현 가능성에 대한 피드백을 제공하는 검증기 두 가지 주요 구성 요소로 이루어져 있습니다. 기존의 기준 에이전트들이 9%에서 69%의 물리적 유효성률을 달성하는 데 비해, BrickWright를 통해 안내된 에이전트는 512개의 프롬프트 샘플에서 100%의 유효성을 달성했으며, 경량 에이전트의 프롬프트 준수도를 개선하고 강력한 에이전트에서도 이를 유지했습니다.

또한 BrickWright 기반 에이전트는 텍스트-투-벽돌 작업에서 전문 모델들을 능가하는 성능을 보였습니다. 이 연구 결과는 에이전트에게 물리적 제약 조건을 통합하는 것이 3D 모델링을 넘어 실제 물리적 조립체 생성 분야에서 중요한 진전을 의미함을 보여줍니다.

복잡한 카메라 움직임은 시각적 스토리텔링의 핵심이지만, 영화적 의도를 제어 가능하고 실행 가능한 카메라 궤적으로 변환하는 것은 여전히 어려운 과제입니다. 이에 연구진은 동적 3D 환경을 위한 명시적인 카메라 궤적을 생성하는 에이전트 프레임워크인 FilmFlow를 소개합니다.

FilmFlow는 자연어 지시나 참고 비디오를 입력으로 받아 카메라 궤적을 생성하며, 이를 위해 디렉터 에이전트가 병렬적인 원자적 연산(atomic operations)에서 고수준 움직임을 조합하여 번역 가능한 카메라 계획을 구성합니다. 이 디렉터는 장면 기반의 영화적 의도를 추출하는 해석기(Interpreter), 초기 시점을 선택하는 스카우트(Scout), 그리고 반복적인 계획 개선을 위해 렌더링 결과를 평가하고 시각적 피드백을 제공하는 비평가(Critic)라는 세 가지 전문 에이전트의 지원을 받습니다.

또한, FilmFlow의 성능을 평가하기 위해 CinemaBench라는 벤치마크를 도입했습니다. 이 벤치마크는 자체 제작 및 라이선스된 150개의 블렌더 장면과 750개의 텍스트 지향 작업, 그리고 일부 장면에 연결된 60개의 참고 비디오를 포함하며 텍스트 지향 및 비디오 참고 지향 카메라 생성 모두를 지원합니다. 다양한 기준선에서 평가한 결과, FilmFlow는 실행 가능한 3D 영화 촬영을 위한 효과적인 공간 추론, 시간적 조정, 시각적 구성을 입증하며 가장 강력한 벤치마크 성능과 사용자 선호도를 달성했습니다.

자율 연구 에이전트가 과학 연구의 유효성, 재현성 또는 충실도를 훼손하는 연구 무결성 위반(RIVs)에 취약하다는 문제가 제기되었습니다. 이에 연구 과정 전반에 걸친 RIV 유형을 분류하는 14가지 범주를 포함하는 RIVT를 먼저 소개하며, 이를 기반으로 자동화된 RIV 탐지 및 런타임 개입을 위한 프레임워크인 RIDAR을 제시합니다.

RIDAR은 세 가지 핵심 구성 요소로 이루어져 있습니다. 첫째, 에이전트 궤적 내 RIV를 탐지하는 RIDAR-post-hoc은 60개의 전문가 주석 궤적을 기준으로 한 벤치마크 RIV-Gold에서 85.2%의 F1 성능을 달성했습니다. 또한, 50가지 연구 작업에 걸친 300개의 에이전트 궤적 데이터셋(RIV-Wild)에 적용했을 때, 현재 에이전트 내 RIV의 존재를 드러내며 99.7%의 궤적에서 3,964건의 RIV 사례를 탐지했습니다.

마지막으로, 에이전트 실행 중에 RIV를 동적으로 탐지하고 수정하는 프레임워크인 RIDAR-runtime을 소개합니다. 이 방법은 에이전트가 작업을 완료할 때까지 남아있는 RIV를 36.8% 효과적으로 줄일 수 있습니다. 연구자들이 이 프레임워크를 활용하여 자율 에이전트의 연구 무결성을 보장할 수 있도록 코드와 데이터를 공개할 예정입니다.