읽을 가치가 있는 기사만, 짧고 또렷하게.

재귀적 루프 트랜스포머(Recurrent Looped Transformer, RLT)는 시퀀스 길이에 관계없이 각 토큰에 적용되는 트랜스포머의 깊이를 고정하면서 상태 추적을 수행하는 새로운 구조를 제안합니다. RLT는 레이어를 병렬적 인과 인코더와 재귀적 디코더로 분할하여, 디코더가 각 토큰에서 인코더 출력과 이전 토큰의 최종 디코더 상태를 병합함으로써 계산 경로가 시퀀스 길이에 따라 증가하지만 토큰당 비용은 고정됩니다.

연구진은 여섯 가지 알고리즘 작업에서 여덟 레이어 트랜스포머와 RLT의 다섯 가지 분할을 비교했습니다. 최대 40비트에서 학습된 결과, 두 RLT 분할은 모든 시드에서 패리티를 256비트로 일반화하여 100%의 정확도를 달성한 반면, 트랜스포머는 우연에 그쳤습니다. 또한, 8배의 학습 길이를 가진 스왑 기반 S_5 순열 추적에서는 RLT가 최종 상태 정확도 97%를 기록한 반면, 트랜스포머는 1% 미만으로 나타났으며, 디코더 깊이가 깊어질수록 정확도가 증가했습니다.

모듈러 산술 작업에서는 RLT가 학습 길이보다 긴 길이에서도 트랜스포머의 33%보다 높은 93%의 정확도를 달성했습니다. 이러한 성능 향상은 피드백 메커니즘에 따라 달라지는데, 피드백을 제거하면 패리티 및 스왑 기반 S_5 추적 정확도가 모든 분할에서 우연 수준으로 떨어집니다.

성능을 극대화하기 위해 피드백 업데이트 방식을 조정할 수 있습니다. 피드백을 네 개의 토큰 덩어리마다 한 번 업데이트하면 64비트 패리티를 99%로 유지할 수 있으며, 순열 추적의 경우 토큰별 피드백에 따라 청킹을 적용하면 길이-64 스왑 기반 S_5 정확도를 100%에서 20%로 낮출 수 있습니다.

대규모 언어 모델(LLM) 에이전트가 기만(deception)을 통해 과제를 수행할 가능성이 높아지면서 신뢰성 있는 배포에 대한 우려가 커지고 있습니다. 기존 평가들은 LLM 에이전트가 기만할 수 있음을 보여주지만, 주로 고립된 시나리오나 좁게 정의된 조건만을 검토하여 기만이 발생할 가능성이 더 높은 상황에 대한 체계적인 이해를 제한하고 있습니다.

이러한 격차를 해소하기 위해 연구진은 3가지 작업 가족과 28가지 전문 시나리오에 걸쳐 총 1,532개의 사례로 구성된 벤치마크인 DecepEval을 소개합니다. DecepEval은 고전적인 사기 이론에 기반하여 기만을 유발할 수 있는 네 가지 외부 조건인 압력(pressure), 인센티브(incentive), 기회(opportunity), 갈등(conflict)을 특징으로 하는 LLM 기만 다이아몬드 프레임워크를 제안합니다.

이 벤치마크는 각 사례의 중립 버전과 유도된 버전을 쌍으로 구성하여 조건에 따른 기만율 변화를 측정하며, 명시적인 작업 사실과 관찰 가능한 에이전트 행동을 통해 기만과 능력 관련 오류를 구별할 수 있도록 합니다. 아울러 아홉 개의 최첨단 LLM에 대한 평가 결과, 유도 조건은 모델과 작업 가족 전반에 걸쳐 기만을 증가시키며, 이는 기본 기만율이 낮은 모델에서도 관찰되었습니다.

DecepEval은 이러한 취약점을 측정 가능하게 하여 신뢰할 수 있는 인공지능으로 나아가는 데 있어 공유된 기준점을 제공합니다.

월드 모델의 발전으로 시각적 합성의 현실성이 높아졌지만, 생성된 환경은 여전히 소리가 없어 상호작용성이 부족하다는 한계가 있습니다. 월드 모델에 소리를 통합하는 과정에는 실시간 생성, 중간 스트림의 사운드 지시에 반응하는 상호작용 제어, 그리고 장면 기하학 및 카메라 움직임을 반영하는 공간적으로 정렬된 스테레오 처리라는 세 가지 핵심 과제가 존재합니다.

이러한 요구 사항을 해결하기 위해 연구진은 월드 모델에서 실시간 공간 사운드 합성을 위한 상호작용 비디오-오디오 프레임워크인 WorldSonus를 제안했습니다. WorldSonus는 실시간 생성을 위해 낮은 실시간 인자(RTF) 0.41로 오디오 청크를 합성하는 스트리밍 인과적 확산 아키텍처를 사용합니다. 또한, 생성 중 사운드 이벤트를 동적으로 조작할 수 있도록 청크 인덱싱된 프롬프트 스케줄링을 활용하는 오디오 중심 캡셔닝 파이프라인을 통합하여 상호작용 제어를 가능하게 합니다.

공간적 정렬 문제를 해결하기 위해 다양한 스테레오 및 앰비소닉 데이터에서 선별된 고품질 스테레오 감독 데이터를 활용하여 공간 정렬을 확보했습니다. 광범위한 실험 결과, WorldSonus는 월드 모델에 특화되어 개발되었음에도 불구하고 오픈 도메인 비디오-오디오 벤치마크에 효과적으로 일반화되며, 음향 품질과 공간 정렬 모두에서 최첨단 양방향 모델과 동등하거나 그 이상의 성능을 보였습니다.

센서 기반 모델은 세상을 이해하는 것을 넘어 다음 행동을 결정하는 데도 유용합니다. 하지만 기존의 센서 모델들은 주로 인식이나 결과 예측에 머물러 있으며, 행동은 별도의 작업별, 종종 폐쇄된 레이블 공간에서 모델링되어 왔습니다. 이에 본 연구는 멀티모달 센서 관측, 자연어, 행동을 통합하는 센서-언어-행동(SLA) 모델링 프레임워크를 제안합니다.

SLA 모델은 언어를 감각과 행동 사이의 의미적 인터페이스로 사용하여, 근본적인 센서 증거에 기반하면서도 이질적인 행동들을 표현, 예측, 설명할 수 있게 합니다. 연구진은 이를 위해 116,000명 이상의 개인, 79가지 센서 양식, 60개의 행동 그룹을 포괄하는 대규모 SLA 벤치마크 데이터셋과 사용자 맥락, 센서 역학, 행동 증거를 정렬하는 다면적인 캡셔닝 파이프라인을 구축했습니다.

이러한 프레임워크를 바탕으로 계층적 행동 예측, 상태 이해, 행동 설명을 위한 통합 SLA 모델인 OpenSLA를 제시합니다. OpenSLA는 임상 예측, 수술실, 대사 건강과 같은 실제 작업에서 기존의 최신 기술보다 우수한 성능을 입증했습니다. 또한 OpenSLA는 언어 기반 증거 접지(evidence grounding) 및 보지 못한 행동과 코호트로의 제로샷 일반화와 같은 흥미로운 능력도 보여줍니다.

정적 분석 체커를 합성하는 작업은 에이전트가 결함 사양을 해석하고 저장소를 검사하며, 분석기별 로직을 구현하고 반복적인 컴파일 및 분석 피드백을 통해 체커를 개선해야 하는 복잡한 과정을 요구합니다. 기존의 코딩 에이전트 벤치마크는 패치 생성이나 취약점 탐지 같은 작업에 초점을 맞추었을 뿐, 에이전트가 저장소에서 시작부터 끝까지 작동하는 체커를 개발할 수 있는지 여부를 평가하지 못했습니다.

이러한 한계를 극복하기 위해 연구진은 CheckerBench라는 실행 가능한 벤치마크를 소개했습니다. 이 벤치마크는 167개의 저장소, 85개의 CWE, 297개의 CVE에서 파생된 300개의 작업을 포함하며, 각 작업에는 취약한 버전과 수정된 버전, 고정된 분석 환경, 체커 스캐폴드가 포함됩니다. 또한, 제출된 체커를 독립적으로 재구축하고 취약한 버전과 수정된 버전 간의 진단 대비, 패치 위치 파악, 오탐, 도구 사용을 측정하는 공통 평가 프레임워크인 CheckerLab을 함께 제시했습니다.

21가지 모델-하네스 구성과 각 구성당 세 번의 독립적인 반복을 통해 얻은 결과, 평균 Pass@1은 32.30%였으며, 최고 결과는 45.33%에 도달했습니다. 이러한 결과는 현재 코딩 에이전트가 신뢰할 수 있고 재사용 가능한 체커를 개발하는 데 여전히 어려움을 겪고 있음을 보여줍니다.

안전한 행동이 반드시 실행 가능한 행동은 아닐 수 있다는 연구 결과가 제시되었습니다. 고정된 비전-언어-행동(VLA) 정책은 안전한 작업 완료 경로가 전혀 없는 움직임을 선택하는 국소적으로 허용 가능한 움직임을 선호할 수 있습니다. 연구진은 이러한 현상을 '실현 가능성-확률 격차(feasibility-likelihood gap)'라고 명명하며, 다음 움직임의 확률(likelihood)과 그 움직임이 남기는 미래의 실현 가능성(feasibility)이 분리되어 있음을 지적합니다.

이 격차를 해결하기 위해 연구진은 안전한 작업 완료에 제한된 역사 조건부 정책-환경 궤적 법칙의 정확한 다음 블록 주변 마진을 도출했습니다. 이 과정에서 후보 의존적 실현 가능한 미래 질량(candidate-dependent feasible-future mass)을 밝혀내어 안전한 완료 가능성과 가중된 안전 완료 질량을 측정할 수 있게 되었습니다.

실제 적용을 위해 정확한 평가가 온라인에서 비현실적임을 고려하여 선택적 유한 후보 근사치를 개발했습니다. 이 접근법을 통해 알람 기반의 훈련 불필요 재순위 지정기인 VICS-G를 개발했는데, 이는 여섯 가지 안전-CHORES 설정에서 평균 누적 안전 비용을 1.9%에서 57.5%까지 낮추면서도 정책 샘플링 성공률은 2.5% 포인트 이내, 평균 에피소드 길이는 0.82 스텝 이내로 유지했습니다.

이 방법은 정책 재학습이나 온라인 롤아웃 없이도 정확한 정책 상대 목표에 기반하여 더 안전한 작업 완료로 나아갈 수 있는 실용적이고 유망한 경로를 제공합니다.

LLM 에이전트는 새로운 환경에서 신뢰성 있게 행동하기 위해 특정 도구의 동작이나 환경 관습을 스스로 발견해야 하는 운영 지식이 부족합니다. 과거 시도에 대한 기억이 없으면 같은 실수를 반복하여 작업 실패가 늘어나고 탐색 경로가 길어집니다. 이러한 문제를 해결하기 위해 에이전트 시스템은 일반적으로 환경에 대한 사전 지식이 필요한 인간 작성 가이드라인이나 오라클 검증기(oracle verifier)를 통해 절차적 기억에 의존합니다.

본 논문은 기존 작업이나 오라클 검증기 없이 자체 생성된 연습을 통해 재사용 가능한 에이전트 메모리를 구축하는 방법인 DAEDALUS를 제시합니다. DAEDALUS는 환경과 상호작용하여 도전적이지만 해결 가능한 작업을 생성하는 탐색자(explorer)와 이를 시도하는 해결자(solver)라는 두 에이전트를 쌍으로 구성합니다. 각 해결자의 실패로부터 휴리스틱을 도출하고, 해당 휴리스틱이 반복적으로 성공할 때만 수용하여 메모리 저장소에 통합합니다.

이러한 접근 방식은 메모리 구축을 넘어 모델 성능 향상에도 기여합니다. DAEDALUS는 AppWorld, τ^2-bench, AutomationBench 등 여러 벤치마크에서 메모리가 없는 기준선 대비 평균 성공률을 최대 15.9% 향상시키고 통과율을 최대 2.2배 높였습니다. 이는 훈련 작업을 사용하는 방법과 경쟁할 수 있는 수준이며, 대부분의 방법보다 낮은 추론 비용으로 달성되었습니다.

연구 결과는 효과적인 휴리스틱을 도출하는 데 해결자의 추적 정보가 핵심이며, 초기 발견을 분해하는 것이 탐색을 비용 효율적으로 만듭니다. 또한 DAEDALUS가 생성한 작업은 모델 성능 순위를 매기는 데 있어 벤치마크 작업의 대리(proxy)로 사용될 수 있음을 발견했습니다. 이는 작은 탐색 예산만으로도 성능 향상이 나타나며, 도출된 휴리스틱이 다른 모델 패밀리의 에이전트에게도 이점을 제공한다는 것을 의미합니다.

단일 모델 내부 메커니즘을 활용하여 방대한 코퍼스 검색과 장문 컨텍스트 추론을 통합하는 새로운 프레임워크인 UNREAL이 발표되었습니다. UNREAL은 모델의 내부 표현으로부터 청크를 인코딩하고 검색 쿼리를 도출하는 방식으로, 모델 백본을 변경하지 않고 50만 개 미만의 학습 가능한 파라미터만 추가하여 구현되었습니다.

이 기술은 장문 컨텍스트 추론과 검색 증강 생성(RAG)에서 증거 선택 문제를 해결하며, 모델 내부의 증거 선택을 코퍼스 검색 및 증거 희소 장문 컨텍스트 추론의 공통 기반으로 제시합니다. 30억 토큰, 2100만 청크의 위키피디아 인덱스에 적용했을 때, UNREAL의 네 가지 밀집 및 하이브리드 백본은 기존의 최첨단 검색기-리랭커 시스템을 능가하는 성능을 보였습니다.

특히 장문 컨텍스트 작업에 적용했을 때, 이 선택 메커니즘은 생성 전에 방해 요소를 제거하여 NoLiMa 정확도를 최대 128K 토큰에서 1.0%에서 24.83%로, LV-Eval의 F1 점수를 최대 256K 토큰에서 49.97%에서 54.66%로 향상시켰습니다. 또한, 컨텍스트가 32K 토큰 이상일 때 전체 컨텍스트 추론 대비 FLOPs와 첫 토큰 도달 시간을 줄여 효율성을 높였습니다.

결론적으로 UNREAL은 모델 내부 증거 선택을 통해 증거 희소 장문 컨텍스트 추론과 코퍼스 검색을 위한 공통 기반을 확립하며, 효율성과 정확도를 동시에 달성하는 새로운 접근 방식을 제공합니다.

인터랙티브 비디오 월드 모델은 사용자 제어에 충실하면서 각 비디오 청크를 효율적으로 생성해야 하는 과제를 안고 있습니다. 기존 시스템은 청크별 자기회귀 생성과 소수 단계 디노이징을 사용하지만, 각 청크마다 여러 번의 비용이 많이 드는 디노이징 반복이 필요합니다. 현재의 캐싱 정책은 모델 내부의 디노이징 동역학에 의존하여 재사용 여부를 결정하며 제어 전환을 명시적으로 고려하지 못합니다.

연구진은 이러한 문제를 해결하기 위해 제어 신호를 활용하여 계산 비용을 줄이는 학습 불필요한 제어 인식 캐싱 프레임워크인 CtrlCache를 제안했습니다. 이 방법은 인접 청크들을 분석하여 행동 변화 주변에서 구조적 유사성이 감소하지만 저주파 구조는 더 지속적이라는 점을 발견했습니다. 이를 바탕으로 CtrlCache는 현재 제어 시퀀스에 맞춰 계산을 조정하는 행동 인식 스케줄링 및 새로고침 정책을 도입합니다.

구체적으로, 이 프레임워크는 청크를 초기, 전환, 회전, 안정 상태로 분류하고 안정 상태의 청크에서는 가장 최근에 완전히 계산된 단계의 트랜스포머 잔차를 재사용합니다. 또한 안정적인 상호작용 중 저주파 구조의 지속성을 활용하기 위해 추가적인 DiT 순방향 패스 없이 이전의 깨끗한 잠재 공간으로부터 보완적인 정보를 통합하는 주파수 혼합 이력 가이드(frequency-mixed history prior guidance)를 추가했습니다.

Matrix-Game 2.0 및 LingBot-World v1/v2에서 평가한 결과, CtrlCache는 모델 재학습 없이 DiT 백본에서 1.21배에서 1.41배의 속도 향상을 달성했으며, 세 모델 모두에서 WBench 전체 점수를 개선했습니다.

에이전트 강화 학습(RL) 환경에서 학습과 롤아웃이 분리되어 각 정책 업데이트가 다음 배치 전에 롤아웃 클러스터에 도달해야 하므로 가중치 동기화(refit)가 필수적입니다. 현재 1조 파라미터 규모의 체크포인트를 전송하는 방식은 두 AWS 리전 간에 87.5분이 소요되어 비효율적입니다. BF16 학습 측정 결과, 한 스텝당 약 1%의 가중치만 값이 변경되므로 이러한 희소성을 활용하려는 시도가 있었으나, 배치, 정확성, 효율성 문제로 인해 중간 실패 시 복구에 어려움이 있었습니다.

본 논문은 이러한 문제를 해결하기 위해 변화량만을 전송하면서도 비트 정확성을 유지하는 NeMo-DCR(Delta-Compressed Refit)을 제안합니다. NeMo-DCR은 변경된 값만을 전송하며 수신자는 밀집된 리핏과 동일한 파라미터 및 버퍼 비트를 얻습니다. 배치 위치 지정을 위해 고정된 아핀 매핑을 사용하고 잔차 변환을 통해 나머지 변경 사항을 처리하며, 객체 스토리지나 릴레이 트리(relay tree)를 사용하여 교차 클러스터 집합 연산 없이 페이로드를 스트리밍합니다.

이러한 효율적인 방법을 통해 300억에서 1조 파라미터 모델의 리핏 작업은 전체 체크포인트 참조 방식보다 12배에서 40배 더 빠르게 수행됩니다. 예를 들어, 3%의 변경률에서 1조 파라미터 모델의 릴레이 트리 리핏은 87.5분 대신 150초 만에 완료되어 트릴리언 파라미터 규모의 교차 클러스터 에이전트 RL에서 리핏을 실용적으로 만듭니다.

도구 사용 에이전트는 외부 상태에 중대한 변화를 가져오지만, 올바른 결과가 반드시 사전에 확립된 증거에 의해 뒷받침되었음을 보장하지는 않습니다. 본 연구는 에이전트가 행동을 결정하는 단계에서 단일 행동 및 종속적인 워크플로우 실행 단계로 넘어갈 때 증거-행동 연결 고리가 어디서 끊어지는지를 탐구합니다.

다양한 모델 하네스 구성에서 분석한 결과, 강력한 정적 행동 평가가 존재함에도 불구하고 상호작용적 실행 능력은 훨씬 약한 것으로 나타났습니다. 실패는 종종 실행 이전에 발생하며, 에이전트가 불완전한 조사로 멈추거나 필요한 증거가 확립되기 전에 행동을 취하는 경우가 많습니다.

필요한 증거가 확보된 후에는 단일 행동 실행은 일반적으로 신뢰할 수 있지만, 다중 행동 워크플로우는 해결되지 않은 선행 조건과 불완전한 실행을 추가로 노출합니다. 이러한 분석을 위해 656개의 사례와 여섯 가지 운영 영역을 포함하는 SafeActBench를 도입했으며, 증거 기록부(Evidence Ledger)와 결정론적 궤적 평가기(deterministic trajectory evaluator)를 사용하여 정보 확립 시점, 행동 발생 시점, 하위 종속성 만족 여부를 추적했습니다.

이 결과는 실패가 단순히 정보 부족에서 비롯되는 것이 아니라, 에이전트가 행동을 결정하고 실행할 때 확립된 증거를 어떻게 사용하는지에 따라서도 발생함을 보여줍니다. 이는 에이전트 시스템의 신뢰성과 안전성을 보장하기 위해 증거 기반의 실행 메커니즘을 구축해야 함을 시사합니다.

거대 언어 모델(LLM)과 LLM 기반 에이전트는 사전 학습 후 획득한 도메인 사실, 사용자 선호도, 문서, 상호작용 경험과 같은 지식을 통합할 필요가 증가하고 있습니다. 현재 인컨텍스트 학습(ICL)과 ICL 기반 에이전트는 유연성을 제공하지만, 컨텍스트 용량을 소모하며 컨텍스트 길이와 함께 반복적인 이산 인코딩 비용을 발생시킵니다.

이러한 문제를 해결하기 위해 인파라미터 메모리(in-parameter memory)는 보완적인 기반을 제공합니다. 이는 재사용 가능한 메모리 정보를 모델 파라미터, 어댑터 또는 기타 파라미터와 유사한 객체에 표현하고 추론 시점에 순방향(forward pass)에 구성하여 LLM을 증강합니다. 이 연구는 배포 시점에 이러한 매개변수 메모리를 활용하는 방법에 초점을 맞춥니다.

연구는 두 가지 직교 축을 기준으로 영역을 정리합니다. 첫 번째 축은 파라미터 배치(Parameter Placement)로, 임베딩, 어텐션, FFN 레이어 또는 두 개 이상의 레이어를 사용하는 하이브리드 방식을 포함합니다. 두 번째 축은 파라미터 획득 시간(Parameter Acquisition Time)으로, 메모리 객체가 배포 중에 획득되는 온라인 방식과 배포 전에 획득되는 오프라인 방식을 구분합니다.

이러한 분류를 통해 연구자들은 간섭, 안전성, ICL과의 공동 설계, 재귀적 자기 개선과 같은 개방된 방향에 대해 경계를 명확히 하고 비교를 수행할 수 있습니다. 이는 LLM에 외부 지식을 효율적으로 통합하는 새로운 방법론을 탐색하는 데 중요한 맥락을 제공합니다.

온폴리 디스틸레이션(OPD)은 교사 피드백을 사용하여 학생 모델을 훈련시키는 방법론입니다. 서로 다른 토크나이저를 사용하는 경우, 교사와 학생의 예측을 비교하려면 시퀀스 및 어휘 수준에서 정렬이 필요합니다. 본 연구는 이러한 정렬 범위를 확장하는 것이 학습에 미치는 영향을 탐구했습니다.

수학적 추론 및 코드 생성에 대한 세 가지 이질적인 교사-학생 쌍을 통해, 엄격한 1:1 그룹만으로도 상당한 어휘 불일치에도 불구하고 대부분의 학생 생성 토큰을 충분히 커버한다는 것을 확인했습니다. 훈련 전에 학생들로부터 샘플링된 응답에서, 공유 어휘는 엄격하게 정렬된 위치에서 교사와 학생의 확률 질량을 거의 모두 유지했습니다.

연구진은 각 엄격한 위치에서 학생이 선택한 상위 16개 공유 어휘 부분집합으로 역 KL을 제한하는 것이 전체 공유 어휘 OPD와 유사한 정확도를 달성하며, 다른 교차 토크나이저 기준선보다 우수한 성능을 보임을 발견했습니다. 그러나 불일치 그룹의 스팬 로그 확률에 대한 평균 제곱 오차(MSE) 감독을 추가하면 완전한 감독 범위를 얻을 수 있지만 정확도는 감소했습니다.

추가 분석 결과, 엄격한 손실만으로 훈련했을 때 체크포인트에서 스팬 기울기는 엄격한 기울기와 약하거나 음의 방향 일치를 보이며 그 크기가 증가했습니다. 이는 스팬 감독을 추가했을 때 정확도가 감소한 이유를 설명할 수 있습니다. 따라서 연구진은 정렬 범위를 최대화하는 것보다 감독 신뢰도를 우선시하는 방향으로 전환해야 한다고 제안합니다. 엄격한 위치에서의 압축된 감독이 약하게 정렬되거나 상충되는 훈련 신호를 도입하는 광범위한 범위보다 더 효과적일 수 있습니다.

최근 추천 시스템은 플랫폼 중심 개인화에서 사용자 주도 개인화로 변화하고 있으며, 개인 LLM 에이전트가 사용자를 대신하여 여러 서비스에 걸쳐 행동할 수 있게 되었습니다. 연구진은 이러한 새로운 패러다임을 개인 에이전트 중재 추천(Personal-Agent Mediated Recommendation)으로 공식화했습니다. 이는 플랫폼 추천기가 플랫폼 로컬 정보를 사용하여 후보군을 순위를 매기고, 개인 에이전트가 사용자 승인된 교차 플랫폼 기록을 사용하여 이 순위를 중재하고 최종 상위 K개를 도출하는 방식입니다.

이러한 중재 과정은 복잡한 균형을 요구합니다. 플랫폼 순위는 개인 에이전트가 관찰할 수 없는 강력한 모집단 증거를 포함할 수 있기 때문에, 효과적인 중재는 이익이 되는 복구와 해로운 재정의 사이의 균형을 맞추어야 합니다. 연구진은 이러한 상충 관계를 연구하기 위해 플랫폼-에이전트 정보 경계 내에서 확장 가능한 프록시 환경과 실제 교차 플랫폼 테스트를 포함하는 MediateRec라는 벤치마크를 도입했습니다.

개인 에이전트가 교차 플랫폼 기록을 효과적으로 사용하도록 훈련하기 위해 개인 귀속 중재 최적화(Personal Attribution Mediation Optimization, PAMO)를 제안했습니다. PAMO는 기록을 가상으로 마스킹하여 개인 중재 지원을 추정하고 플랫폼 상대 가치 하한을 유지하면서 순위 인식 이점을 재할당합니다. 실험 결과, 개인-에이전트 중재는 의미 있는 플랫폼 수정이 가능하지만, 강력한 독점 LLM조차도 무시할 수 없는 해로운 재정의를 발생시킵니다.

PAMO는 실제 교차 플랫폼 테스트와 보았거나 보지 못한 타겟 플랫폼 모두에서 다른 강화 학습 방법보다 일관되게 개선되었으며, 복구-해악 균형을 더 잘 달성했습니다. 이는 개인 에이전트가 플랫폼에 의미 있는 수정을 가할 수 있음을 보여주면서도, 잠재적인 부작용을 관리하는 방법을 제시합니다.

어디든 목표를 향해 움직이는 에이전트의 핵심 능력은 상호 의존적인 작업의 연속을 통해 복잡한 목표를 달성하는 것입니다. 하지만 기존의 시각 목표 조건화 정책들은 목표가 이미 보이는 고립된 상호작용에서 평가되므로, 장기적인 연속 작업 실행 중에 발생하는 조건을 포착하지 못합니다. 에이전트가 이전 작업으로 인해 위치나 방향이 바뀌고 환경이 수정되며 다음 상호작용 목표가 현재 시야 밖에 있을 때, 목표를 현재 관찰에서 구체화하지 못해 다음 단계로 진행하는 데 어려움을 겪습니다.

이러한 문제를 해결하기 위해 본 연구는 Attacca라는 새로운 접근 방식을 제안합니다. Attacca는 실행 환경과 분리된 목표 이미지를 사용하여 검색-상호작용 궤적 전체를 학습함으로써 시각 목표 조건화 정책을 훈련합니다. 구체적으로 Attacca는 컨텍스트 분리 목표 샘플링을 사용하여 각 시연을 다른 세계의 클래스 호환 마스크 목표 이미지와 쌍으로 만들어 장면 및 자세 일치를 제거합니다. 또한, 목표 마스크 예측 헤드를 통해 현재 시야에 대한 밀집된 구체화를 학습하며 행동 모방을 넘어서는 보조적인 감독을 제공합니다.

나아가 Attacca는 행동 단계 조건화(behavioral-phase conditioning)를 도입하여 정책이 검색(Search), 접근(Approach), 상호작용(Interact) 단계를 구별하고 실행이 진행됨에 따라 제어를 조정하도록 학습시킵니다. 마인크래프트 환경에서 여러 단기 및 장기 임체형 작업을 평가한 결과, 이 방법은 39.0%에서 47.5%의 깨끗한 성공률을 달성했으며, 가장 강력한 기준선 대비 1.7배에서 2.4배 향상되었습니다. 장기 목표 작업에서는 54%, 30%, 28%의 완료율을 달성하여 최대 7배의 개선을 보였습니다.

강화 학습(RL)을 이용한 사전 훈련된 대규모 언어 모델(LLM) 훈련 시, 롤아웃 생성 과정에서 상당한 계산 및 메모리 오버헤드가 발생하여 효율적인 RL 훈련을 위한 저정밀도 롤아웃이 필요합니다. 하지만 기존의 FP4 RL 방법들은 훈련 경로와 롤아웃 경로의 불일치를 직접적으로 줄이지 않고 각 경로의 양자화 정확도를 독립적으로 최적화하는 한계를 가지고 있습니다.

이에 본 연구는 혼합 전문가(MoE) 언어 모델의 RL 훈련을 위한 FP4 양자화 프레임워크인 TRACE(Train-Rollout Quantization Alignment via Compact GuidancE)를 제안합니다. TRACE는 롤아웃 측의 양자화 결과를 활용하여 훈련 측의 FP4 반올림 결정을 안내하는 롤아웃 기반 양자화 인식 훈련을 통합함으로써 훈련과 롤아웃 간의 불일치를 직접적으로 줄입니다. 또한 TRACE는 롤아웃 가이드로 인한 저장 및 통신 오버헤드를 줄이기 위해 더 깊은 레이어에서 유지 정보를 선택적으로 보존하는 효율적인 양자화 정보 캐싱 방식을 채택했습니다.

연구진은 TRACE를 추론, 코딩, 장기 수평 RL 작업에 걸쳐 네 가지 대규모 MoE 언어 모델에 대해 평가했습니다. 그 결과 TRACE는 RL 성능이 BF16 롤아웃과 유사하면서도 롤아웃 속도를 최대 5.4배 향상시키고, BF16 훈련 정책의 사후 FP4 양자화와 비교했을 때 강력한 최종 FP4 성능을 달성했습니다.

온디바이스 캐스케이드 음성 에이전트에서 도구 지연 시간을 숨기는 방법을 제시합니다. 기존의 도구 증강 음성 비서 시스템은 자동 음성 인식(ASR), 대규모 언어 모델 추론, 외부 도구 실행을 순차적으로 처리하여 도구 지연 시간이 사용자가 말한 후 LLM이 필요한 도구 호출을 식별한 후에만 발생합니다.

본 연구는 부분적인 ASR 가설로부터 도구 요청을 예측하고 음성이 수신되는 동안 도구 실행을 시작하는 추측적 도구 실행을 제안하여 전체 응답 지연 시간을 줄입니다. 이를 위해 예측 모듈을 도입하여 음성 인식 중에 도구 호출을 예측하고 추측적으로 실행한 후 결과를 캐시합니다. 이 캐시된 결과는 LLM 프롬프트에 주입되어 응답 속도를 높이며, 음성 중 사용자의 자기 수정으로 인한 오류를 완화하기 위해 유효한 캐시 결과만 선택적으로 주입하는 규칙 기반 검증 메커니즘을 사용합니다.

또한, LLM이 직접 도구 호출을 수행할 수 있는 능력을 유지하여 프레임워크의 지연 시간이 최악의 경우 기본 순차 실행 파이프라인으로 상한이 설정되도록 안전장치를 마련합니다. 실제 안드로이드 음성 비서에 대한 측정 결과를 통해 이 방법은 첫 오디오까지의 중앙값을 5.79초에서 4.60초로 줄이고 표준 편차를 3.49초에서 2.81초로 감소시켜 더 예측 가능한 응답 지연 시간을 달성했습니다.

단일 이미지 장면 생성은 카메라가 관찰하지 못한 표면을 포함하여 완전한 3차원 장면 메시를 생성하는 것을 목표로 합니다. 기존의 사전 학습된 3D 객체 생성기는 강력한 형태 사전 지식을 인코딩하지만, 주로 고정된 볼륨 내의 고립된 객체에 초점을 맞추고 실내 장면 데이터가 풍부하여 실외 장면 데이터가 제한적이라는 한계가 있었습니다.

본 연구는 이러한 객체 중심 생성기, 예를 들어 Trellis 2를 실내와 실외 장면 모두에서 작동하도록 재설계하여 기존의 사전 지식을 유지하면서 확장하는 방법을 제시합니다. 이를 위해 장면을 카메라로부터의 거리에 따라 크기가 조정되는 적응형 청크로 분할하고, 이미지 특징을 끌어올려 자유 공간, 관찰된 표면, 관찰되지 않은 영역을 모델이 인식하도록 하여 2차원-3차원 대응 관계를 명시적으로 포착합니다.

또한, 기존 데이터셋이 주로 실내에 국한되어 있다는 점을 보완하기 위해 약 4,000개의 실외 장면을 합성하여 훈련 데이터를 확장했습니다. Tanks and Temples, ScanNet++, 그리고 야외 이미지 실험에서 본 방법은 실내와 실외 장면 모두에서 기하학적 정확도와 지각적 품질 면에서 모든 기준 모델을 능가하는 성능을 보였습니다.

비디오 월드 모델은 시각적으로는 설득력이 있지만 물리적으로는 일관성이 부족한 시퀀스를 생성할 수 있어, 임체형 AI 시스템에서의 예측 및 계획 신뢰성에 대한 우려가 제기되고 있습니다. 기존의 평가 방식은 모델 기반 판단이나 참조 비디오에 의존하는 경우가 많았으나, 본 연구는 비디오 월드 모델의 물리적 일관성을 평가하기 위한 측정 기반 벤치마크인 'World Models' Last Exam in Physics'를 소개합니다.

이 벤치마크는 역학, 광학, 유체, 열 및 상변화 현상, 전자기학, 표면 장력 등 6가지 물리 영역을 포괄하는 40개의 통제된 과제로 구성되어 있습니다. 각 과제는 초기 이미지와 생성 프롬프트를 미리 정의된 물리적 기준과 쌍으로 구성하여 참조 비디오 없이도 관찰 가능한 물리적 관계를 해석할 수 있게 합니다. 평가 모듈은 과제 관찰 가능성 스크리닝과 과제별 정량적 물리 측정값을 결합하여 물리적 불일치를 진단하는 해석 가능한 기반을 제공합니다.

8개의 비디오 생성 모델에 대한 실험 결과는 1,280개의 비디오에서 지속적인 물리적 불일치와 과제 간의 상당한 변동성을 보여주었으며, 최고 모델은 100점 만점에 57.76점을 달성했습니다. 이 벤치마크는 측정 가능한 증거와 명시적인 측정 한계에 기반한 점수를 결합함으로써, 물리적 일관성 부족을 진단하고 물리적으로 일관된 비디오 월드 모델을 향한 진행 상황을 추적하는 데 유용한 기준을 제공합니다.

로봇 파운데이션 모델을 확장하기 위해서는 다양하고 신뢰할 수 있는 훈련 데이터와 평가 환경이 필수적입니다. 현재 시뮬레이션은 확장 가능한 해결책을 제공하지만, 기존 생성 파이프라인은 미리 정의된 에셋과 기술에 의해 제약되며, 장면 생성과 작업 생성 간의 단절, 복잡한 신체 구조 및 물리 현상에 대한 지원 부족이라는 한계를 가지고 있습니다.

이에 연구진은 재귀적 자기 개선(RSI)을 통해 확장 가능한 체화 데이터 생성을 위한 프레임워크인 EmbodiedSmith를 소개합니다. 이 프레임워크는 에셋, 장면, 작업을 통합하는 파이프라인을 제공하여 자율적인 생성과 언어 기반 사용자 맞춤화를 지원합니다. 핵심은 에이전트적 정제 루프인데, 장면 생성이 다운스트림 작업 요구 사항을 예측하고 작업 생성이 목표 장면 편집을 안내함으로써 장면과 작업이 서로를 반복적으로 개선하도록 합니다. 이러한 공동 정제는 장기 작업(long-horizon tasks)을 포함하여 작업 생성 성공률을 향상시킵니다.

EmbodiedSmith는 모바일 매니퓰레이터, 휴머노이드, 섬세한 손뿐만 아니라 변형 가능한 물체와 유체와의 상호작용을 지원하여 생성 데이터에 표현되는 행동과 물리 현상의 범위를 넓힙니다. 이 프레임워크는 로봇 사전 훈련과 평가를 위한 유연한 시뮬레이션 엔진을 제공합니다. 광범위한 실험 결과는 생성된 데이터의 품질, 다양성, 생성 효율성을 입증하며, 다운스트림 정책 실험은 데이터 다양성 증가가 일반화 능력을 향상시킨다는 것을 보여줍니다.