읽을 가치가 있는 기사만, 짧고 또렷하게.

장기 목표를 수행하는 에이전트가 등장하면서 사용자들은 개별적인 결정보다는 자율적인 실행을 감독하는 역할로 전환하고 있습니다. 하지만 에이전트 활동의 양이 방대하고 지원 증거가 파편화되어 있어 사용자가 어떤 결정을 검증해야 하는지 판단하기가 어렵습니다.

이러한 문제를 해결하기 위해 본 연구는 중요한 결정을 식별하고 증거를 위치시켜 사용자가 그 함의를 평가할 수 있도록 돕는 모니터 시스템을 연구합니다. 이를 위해 요구사항과 행동 간의 정렬, 그리고 검증을 위한 결과적 자율 결정에 대한 인식을 다루는 두 가지 차원을 포괄하는 소프트웨어 엔지니어링 벤치마크인 AgentMonBench를 제안합니다.

이러한 판단을 지원하기 위해 본 연구는 Evidence-Grounded Behavior Graph(EBG)라는 훈련 없는 방법을 제안합니다. EBG는 출처와 연결된 증거를 행동으로 그룹화하고 그 관계를 그래프로 구성하여 증거 기반의 행동 그래프를 만듭니다. EBG는 이 그래프에 대한 작업 지향적 시각을 제공하여 모니터가 문맥 속에서 행동을 해석할 수 있도록 돕습니다.

여덟 가지 모델에 대한 실험 결과, EBG는 원본 컨텍스트에 직접 접근하는 것과 비교하여 대부분의 설정에서 결정 식별 및 증거 위치를 개선했습니다. 또한 EBG의 증거 위치 개선 효과는 입력 규모와 하이퍼파라미터 설정에 걸쳐 지속되었으며, 실제 애플리케이션 사례는 인간 감독을 위한 실질적인 가치를 보여줍니다.

엔터프라이즈 AI 에이전트가 메모리 저장소를 공유할 때 민감한 데이터가 유출되거나 상충하는 논리로 인해 잘못된 KPI가 계산되는 문제가 발생합니다. 기존 에이전트 메모리 시스템들은 내용, 소유권, 역할에 따라 검색을 제한할 뿐, 결과의 도출 과정(derivation)을 기반으로 제한하지 못하여 금지된 열(column)이 포함된 캐시된 통찰력을 놓치는 한계가 있었습니다.

이에 연구진은 모든 캐시된 결과에 전체 도출(lineage) 그래프를 첨부하는 메모리 스키마인 분석 메모리 단위(Analytical Memory Unit, AMU)를 제안합니다. 이 AMU는 검색 요청자가 접근 권한이 있는 모든 열에 대해 승인될 때만 결과를 제공하도록 제한하는 검색 정책을 통해 작동합니다. 이 정책은 기록된 계보 정보가 완전할 경우, 민감한 열에서 도출된 결과를 요청자의 권한 밖에서 검색하는 것을 O(n) 최악의 경우 시간 복잡도로 차단하는 설계 보장을 제공합니다.

실험 결과, 계보 기반 검색은 기존의 내용 기반 접근 방식이 겪는 18.8%에서 25.5%에 달하는 부서 간 누출 문제를 제거하며 메모리 재사용률을 81.5%에서 82.6%로 유지하면서도 13.8 마이크로초의 최악의 경우 오버헤드로 효율성을 보였습니다. 또한 LLM이 생성한 SQL을 사용한 실제 에이전트 개념 증명은 9회 왕복에서 누출이 전혀 없었으며 두 가지 충돌이 자동으로 감지되는 것을 보여주었습니다.

이러한 접근 방식은 공유 에이전트 메모리에 대한 실용적인 거버넌스 계층을 제공하여 소스 계층 접근 제어를 보완하고 유럽연합 AI 법(EU AI Act) 준수를 지원합니다. 다만, 측정된 누출을 제거하기 위해 90%의 계보 기록 완전성이 필요하며 이는 보수적인 배포 목표로 간주됩니다.

선택적 상태 공간 모델(SSM), 예를 들어 Mamba는 입력에 따라 시간 이산화 단계인 $\tilde{\Delta}$를 학습함으로써 강력한 토큰별 표현력을 달성하지만, $\tilde{\Delta}$가 연속된 관측치 사이의 실제 시간 간격 $\Delta$와 일치하지 않아 불규칙한 시계열을 처리하는 데 한계가 있습니다. 반면, S5와 같은 연속 시간 SSM은 $\tilde{\Delta}$를 $\Delta$와 동일하게 유지하여 불규칙한 타임스탬프를 본질적으로 처리할 수 있지만, 동역학은 선형 시간 불변(LTI)으로 남아 토큰별 표현력이 제한됩니다.

이러한 문제를 해결하기 위해 연구진은 입력 의존성을 단계 크기에서 분리하여 대각 상태 행렬로 이동시키는 선택적 SSM 변형인 TIDES를 제안했습니다. TIDES는 S5처럼 $\tilde{\Delta} = \Delta$를 허용하여 불규칙한 타임스탬프를 본질적으로 처리하면서도 선택적 SSM이 효과적인 토큰별 표현력을 희생하지 않도록 합니다.

TIDES는 새로운 Fading Flash 실험 벤치마크에서 입출력 의존성과 분포 외 $\Delta$ 값으로의 외삽을 공동으로 테스트하여 기존 모델의 실패 모드를 분리해냅니다. 대규모 벤치마크에서 TIDES는 UEA 시계열 분류 및 Physiome ODE 회귀 벤치마크에서 새로운 평균 순위를 설정했으며, 천문학, 농업, 신경모방 센싱, 기후 이벤트 등 8개 데이터셋 중 6개의 본질적으로 불규칙한 데이터셋에서 참조 기준 모델과 일치하거나 능가했습니다.

이미지 생성 모델을 에이전트 하네스(agentic harness)로 감싸면 메모리, 스킬, 워크플로우 조정, 결과 검증, 반복적 개선을 통해 프롬프트를 지속적으로 구성하고 수정함으로써 성능이 향상됩니다. 하지만 이러한 성능 향상은 확산 모델(diffusion model) 자체에 외부적으로 남아있으며 하네스가 실행되는 동안에만 실현됩니다.

본 논문은 확산 모델의 가중치에 에이전트 하네스의 지식을 내재화하는 확산 온-폴리시 컨텍스트 증류(Diffusion On-Policy Context Distillation, D-OPCD)를 제안합니다. D-OPCD는 에이전트가 개선한 프롬프트를 특권 컨텍스트로 간주하고 에이전트 하네스에 인코딩된 지식을 확산 모델의 가중치로 증류하여, 원본 쿼리만으로 조건화될 때도 모델이 하네스의 일부 이점을 유지하도록 합니다.

이 방법을 자동 스킬 진화(Auto Skill Evolver, ASE)를 장착한 텍스트-투-이미지 에이전트에 적용한 결과, D-OPCD는 하네스 기능을 생성자의 가중치에 내재화할 수 있었습니다. 이를 통해 네 가지 벤치마크에서 직접 생성 점수가 60.52점에서 65.09점으로 평균적으로 상승했습니다.

이 지식이 가중치에 흡수됨으로써 하네스는 포화된 스킬을 버리고 계속 진화할 수 있게 되었습니다. 업데이트된 생성자에 대한 두 번째 ASE 라운드는 스킬이 없는 하네스 대비 추가로 1.83점의 성능 향상을 보였으며, 이는 하네스와 모델이 지속적인 공동 진화를 통해 서로를 개선하는 텍스트-투-이미지 시스템을 시사합니다.

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해에서 뛰어난 잠재력을 보였지만, 후기 요약과 텍스트 중심의 사전 지식에 의존하기 때문에 비디오 이벤트 예측(VEP)에서 관찰되지 않은 인과적 전환을 연결하는 능력이 제한적입니다. 이러한 한계를 극복하기 위해 본 연구는 도구 증강 강화 학습(RL)과 인과적 전환 추론을 통합하는 에이전트 프레임워크인 VepAgent를 제안합니다.

VepAgent는 기존 방법들이 역사적 의존성으로부터 미래 궤적을 수동으로 투영하는 방식과 달리, 관찰된 최종 상태에서 미래 이벤트로의 논리적 진행을 명시적으로 모델링합니다. 이를 위해 관찰되지 않은 중간 상태를 추론하여 인과 논리 격차를 해소하는 고품질의 체인-오브-사고 데이터셋인 futurebench-4K를 구축했습니다. 또한, 추론 과정에서 누락된 시공간 증거를 복구하고 시각적 모호성을 해결하기 위해 상태 추적, 프레임 검색, 영역 확대 기능을 통합한 진단 도구 라이브러리를 개발했습니다.

나아가, 에이전트가 피상적인 텍스트 유사성이 아닌 실제 시각적 근거에 의존하도록 강제하기 위해 예측 정확도, 인과적 일관성, 신뢰할 수 있는 사전 지식을 공동으로 최적화하는 복합 보상 메커니즘을 제안합니다. 이러한 방법론을 FutureBench 및 NEPBench 데이터셋에 광범위하게 평가한 결과, VepAgent는 더 큰 MLLM보다도 뛰어난 성능을 달성하며 에이전트 기반의 미래 지향적 추론 패러다임의 실질적인 효과를 입증했습니다.

계산 및 과학 분야에서 결과에 충분한 최소 조건은 무엇인가라는 질문은 설명, 메커니즘, 이유를 의미하는 최소 충분 증거(minimal sufficient witnesses)를 찾는 문제로 이어집니다. 표준 강화 학습(RL) 방법들은 이러한 문제에서 여러 최소 증거를 요구함에도 불구하고 종종 하나의 해답이나 중복된 해답만을 제시하는 한계를 보입니다.

이러한 문제를 최소 증거 식별(minimal-witness identification)로 공식화하여 최소 증거 강화 학습(Minimal-Witness Reinforcement Learning, MWRL)을 도입합니다. MWRL은 정책에서 샘플링된 성공적인 제안들의 집합을 취합하고, 각 제안이 그룹 합집합이 제공하지 못할 커버리지를 얼마나 보존하는지에 대해 크레딧을 부여합니다. 이 크레딧 할당은 문제 정의에서 직접 도출되며, 단일 검증자 비트로부터 최소성과 대안 복구에 대한 요구를 통합합니다.

이 원리를 바탕으로 전체 증거 가족을 복구하는 가치 반복 플래너와 대규모 언어 모델(LLM)에 확장 가능한 정책 경사 방법을 도출했습니다. 다양한 실험 설정에서 MWRL은 대부분의 최소 증거를 복구하는 반면, 다른 방법들은 중복된 초집합이나 단일 증거만을 반환합니다. 이는 검증자 피드백으로부터 증거 가족을 학습 가능하게 함으로써 강화 학습의 범위를 단일 해답 최적화를 넘어 확장하는 것을 의미합니다.

저정밀도 실행은 대규모 언어 모델(LLM)을 위한 강화 학습(RL)을 크게 가속화할 수 있지만, 학습자와 샘플러 실행 간의 불일치는 정책 최적화를 불안정하게 만들 수 있습니다. 본 연구는 불일치와 정책 기울기 방향 간의 상호작용을 분석하여, 불일치 크기만으로는 구별할 수 없는 국소적으로 증폭되는 업데이트와 수축되는 업데이트를 구별합니다. 특히 네이티브 NVFP4 실행에서 불일치 영역 간의 조기 불균형이 관찰되며, 이는 음의 이점(negative-advantage) 및 음의 격차(negative-gap) 업데이트를 선호하게 만듭니다.

이러한 발견을 바탕으로 연구진은 세그먼트 수준 진단을 사용하여 정책 기울기 업데이트를 선택적으로 재균형하고 잔여 심각한 불일치를 제한적으로 복구하는 방향 인식 안정화 방법인 TRIAGE를 제안합니다. TRIAGE는 샘플러와 학습자 모두에서 네이티브 NVFP4 가중치 및 활성화 4비트(W4A4) 순방향 실행을 유지하면서 최적화 목표를 수정합니다.

Qwen3-4B 및 Qwen3-30B-A3B 모델에 대한 실험 결과, TRIAGE를 적용했을 때 평가된 훈련 기간 내내 안정적인 최적화가 이루어졌으며 다섯 가지 수학적 추론 벤치마크에서 전체 정밀도 수준의 성능을 달성했습니다. 또한, TRIAGE가 적용된 네이티브 NVFP4는 BF16보다 최대 2.3배 높은 롤아웃 처리량(rollout throughput)을 제공합니다.

장기 추론 LLM 에이전트는 종종 희소 혼합 전문가(MoE) 모델을 사용하지만, 에이전트 행동과 MoE 구조의 공동 설계는 충분히 탐구되지 않았습니다. 본 연구는 에이전트 후처리 과정과 MoE 전문가 선택 간의 연관성을 포괄적으로 연구했습니다. 기존 MoE 모델에서 전문가 선택은 에이전트 궤적과 자연스럽게 일치하는 특수한 구조를 보이며, 에이전트가 의미적으로 유사한 작업(예: READ, UPDATE)을 수행하는 턴 사이에서 전문가 라우팅이 다른 작업이 수행되는 턴 사이보다 더 많이 중첩됩니다.

그러나 표준 강화 학습(RL) 알고리즘은 이러한 특수성을 무시하여 훈련 중 MoE 라우팅이 통제되지 않도록 허용하며, 이는 결과적으로 작업 성능과 추론 효율성을 제한합니다. 이를 해결하기 위해 에이전트 작업을 위한 계층적 라우팅 제어 프레임워크를 도입했습니다. 이 프레임워크는 에이전트 작업과 일치하도록 턴 수준의 전문가 선택을 명시적으로 장려하는 동시에, 국소적 일관성을 유지하기 위해 토큰 수준의 전문가 선택을 정규화합니다.

또한, 제안된 방법으로 후처리 과정에서 발생하는 안정성 문제를 해결하기 위해 엔트로피 기반 제어 메커니즘을 추가로 도입했습니다. 이 전체 라우팅 제어 프레임워크는 평가된 모든 벤치마크에서 성공률을 10% 이상 향상시켰습니다. 이러한 결과는 에이전트 궤적 구조가 RL 후처리 과정에서 MoE 용량을 최적화하기 위한 효과적인 신호임을 입증합니다.

오토회귀 비디오 확산 모델은 스트리밍 생성과 상호작용 제어를 지원하지만, 생성된 기록에 따라 KV 캐시가 지속적으로 증가하는 문제가 있습니다. 기존의 압축 전략들은 고정된 윈도우를 사용하거나 국소 어텐션 및 유사성 신호를 통해 토큰을 선택하지만, 현재 청크가 보존된 컨텍스트를 넘어 정보를 기여하는지 직접적으로 측정하지 못합니다.

이에 연구진은 캐시 압축을 디노이징 일관성 문제로 간주하는 학습 불필요 방법인 DeCoPrune을 제안했습니다. 이 방법은 토큰의 장기 보존 가치를 측정하기 위해 디노이징 난이도를 활용하는데, 중간 예측과 최종 디노이징 값 사이의 불일치(discrepancy)를 측정하여 이 값이 보존해야 할 시각적 증거를 나타낸다고 발견했습니다.

DeCoPrune은 높은 불일치를 가진 토큰을 장기 캐시에 유지하고 낮은 불일치를 가진 토큰을 가지치기함으로써 캐시를 압축합니다. CMBench 벤치마크를 통해 실험한 결과, DeCoPrune은 역사적 KV 토큰의 85% 이상을 가지치기하면서도 거의 전체 KV 장거리 회상을 보존하고, 후속 생성 속도를 4배 이상 가속화했습니다.

이 결과는 디노이징 일관성이 오토회귀 추론 비용을 줄이면서 장거리 정보를 보존하는 모델 내재적 신호로 작용할 수 있음을 시사합니다. DeCoPrune은 관련 코드와 벤치마크를 공개하여 개발자들이 효율적인 비디오 생성 모델을 구축하는 데 활용할 수 있도록 제공하고 있습니다.

대규모 언어 모델(LLM)을 다양한 컴퓨팅 제약 조건에 맞춰 배포하는 것은 여전히 어려운 과제입니다. 기존 접근 방식들은 탄력적 아키텍처와 희소 활성화(sparsely activated) 모델을 독립적으로 다루며, 특히 온디바이스 추론 모델은 장치의 메모리 및 컴퓨팅 한계에 맞춰야 하는 문제가 있습니다.

본 논문은 이러한 배포 제약 조건과 작업 요구 사항에 동시에 적응하는 모델을 만들기 위해 탄력적 구조와 희소 게이팅 아키텍처를 결합한 통합 프레임워크를 제안합니다. 이 접근 방식은 모델 백본이 컨텍스트와 목표 효율성 사양을 모두 조건화하여 추론 시 정확도와 효율성 간의 균형을 세밀하게 제어할 수 있게 합니다.

실험 결과, 이 프레임워크를 통해 모델은 10억에서 40억 개의 파라미터를 유연하게 사용할 수 있으며, 밀집된 모델과 유사한 지연 시간 지표를 유지하면서 지식 집약적 벤치마크에서 기존 모델보다 2~5% 더 높은 정확도를 달성했습니다. 또한 모델 파라미터를 공유하여 장치 디스크 공간을 절약하고, 사용 가능한 DRAM 및 컴퓨팅에 따라 유연하게 서비스를 제공할 수 있습니다.

대규모 언어 모델의 추론 능력을 개선하기 위해 온폴리 강화 학습이 중심 패러다임이 되었지만, 보상 희소성(reward sparsity)으로 인해 그 효과가 제한되는 문제가 있습니다. 모델이 어려운 문제에 대한 올바른 궤적을 발견하지 못할 경우 최적화 과정이 유용한 신호를 거의 받지 못하고 정체될 수 있습니다. 기존 접근 방식들은 오프폴리 시연, 전문가 흔적 또는 모델 생성 솔루션을 통합하여 이 문제를 완화하지만, 이러한 데이터는 종종 강화 학습 작업의 형식과 일치해야 하므로 더 강한 모델로부터 거부 샘플링을 통해 적절한 훈련 궤적을 얻어야 하는 제약이 있었습니다.

본 논문은 이러한 문제를 해결하기 위해 추론 기반 정책 최적화(Rationale-Guided Policy Optimization, RGPO)라는 프레임워크를 소개합니다. RGPO는 모델의 현재 능력에 따라 정답 추론 근거 정보를 적응적으로 활용하면서 탐색의 자유를 보존하는 것을 목표로 합니다. RGPO는 참조 솔루션을 고정된 모방 목표로 취급하는 대신 일시적인 발판으로 사용하여, 추론 근거가 모델이 개선된 응답을 생성하도록 돕고, 그 후에는 더 높은 보상을 얻은 모델 생성 솔루션만 원래의 비지도 설정으로 전달합니다.

이러한 설계 덕분에 RGPO는 오프폴리 데이터가 강화 학습 작업의 형식과 일치할 필요 없이 사용 가능한 정답 정보를 활용할 수 있게 합니다. 언어 전용 추론과 비전-언어 추론 설정 모두에서 RGPO는 RLVR 기준선보다 일관되게 성능을 향상시켰으며, 절제 연구 결과는 적응형 추론 근거 안내가 이러한 성능 향상의 핵심 기여 요인임을 보여줍니다.

결론적으로 RGPO는 보상 희소성을 줄이고 강화 학습을 안정화하며 텍스트 전용 및 멀티모달 모델 모두에서 추론 성능을 개선하는 실용적이고 일반적인 접근 방식을 제공합니다.

양방향 비디오 확산 모델은 전체 비디오를 병렬로 노이즈 제거하지만, 절차적 생성기에서 얻은 무한한 분포 데이터로 학습할 경우 물리 법칙과 단순한 기호 규칙을 위반하는 문제가 발생합니다. 이를 해결하기 위해 본 논문은 시리얼-투-패러럴 확산(Serial-to-Parallel Diffusion, S2PD)을 제안합니다.

S2PD는 높은 노이즈 상태에서 먼저 자기회귀 확산(autoregressive diffusion)을 수행하여 상호 의존적인 이벤트들을 조정하고 유효한 상태 전환을 생성하는 데 필요한 순차적 계산을 제공합니다. 이후 낮은 노이즈 상태에서는 병렬 확산으로 전환하여 전체 비디오를 공동으로 정제함으로써 완전히 순차적으로 생성하는 것보다 샘플링 시간을 줄입니다.

S2PD는 두 가지 아키텍처로 구현되었는데, 하나는 처음부터 학습된 픽셀 공간 확산 트랜스포머이고 다른 하나는 인과적 어텐션(causal attention)을 사용한 LoRA 미세 조정을 통해 사전 학습된 비디오 모델을 적용한 방식입니다. 이 방법은 게임, 물리 시뮬레이션, 실제 비디오 전반에 걸쳐 기존의 양방향 기준선보다 규칙을 더 신뢰성 있게 따르며, 다른 순차적 방법들보다 더 높은 시간적 안정성과 샘플링 효율성을 가진 비디오를 생성합니다.

야생동물 재식별은 카메라 트랩 이미지에서 개체를 검색하는 인스턴스 검색 문제로, 컴퓨터 비전 모델이 털, 피부 등의 국소적인 패턴을 인식해야 합니다. 기존 접근 방식들은 개별 동물당 많은 레이블 이미지를 요구하는 분류 문제로 전역 임베딩을 학습하거나, 도메인에 구애받지 않는 이미지 매처를 적용하는 방식이었습니다. 이러한 매처들은 대규모 데이터로 사전 학습되었으나, 야생동물 이미지에 적용하기에는 데이터셋이 작고 대응 수준의 주석이 부족하여 적응이 어렵다는 한계가 있었습니다.

본 연구는 키포인트 수준이나 기하학적 대응 정보 없이 오직 신원 레이블만을 사용하여 사전 학습된 키포인트 매처를 약하게 지도 학습 방식으로 적응시키는 방법을 제안합니다. 연구진은 사전 학습된 매처를 활용하여 정보가 풍부한 이미지 쌍을 선별하고 신원 일치로부터 약한 긍정 및 부정 감독을 도출하여 매칭 네트워크를 대조적으로 미세 조정합니다.

이 방법은 개체별 신원을 암기하는 대신, 보유된 신원 주석을 사용하여 전이 가능한 대응 사전 지식을 학습함으로써 개방 세계 프로토콜 하에서 데이터 효율적인 특화가 가능합니다. 이 연구는 야생동물 재식별을 위해 매처 수준에서 신원 기반 적응을 수행한 최초의 연구이며, 일반적인 모니터링 데이터셋에 이미 존재하는 신원 주석만으로 이미지 매칭 모델을 야생동물 도메인에 효율적으로 특화할 수 있게 합니다.

실시간 생성 로봇 정책을 위해서는 지속적인 비동기 재계획이 필수적이지만, 독립적인 확률적 초기화는 행동 청크 전반에 걸쳐 모드 전환과 일관성 없는 연속성을 유발합니다. 이에 본 연구는 실행 정렬 진행 노이즈(Execution-Aligned Progressive Noise, EAPN)를 제안하며, 이는 청크 간 및 청크 내 수준에서 구조화된 확률성을 도입합니다.

EAPN은 재계획 단계 전반에 걸쳐 공유된 노이즈 궤적을 전파하고 이를 실제 실행 변위와 정렬하여 청크 간 실행 정렬 상관관계를 확립합니다. 또한 각 행동 청크 내에서는 행동 시간에 따른 시간적 상관관계를 모델링합니다. 이 정렬된 확률적 기록은 확정된 행동 컨텍스트와 결합되어 후속 생성을 조건화함으로써, 새로운 청크가 독립적인 노이즈에서 시작하는 대신 실행 일관성을 유지하며 연속적으로 진행할 수 있게 합니다.

연구진은 EAPN을 D3IL, Kinetix, LIBERO 및 실제 조작 작업에 대해 평가했습니다. D3IL에서는 다중 모드 행동 일관성을 개선했으며, Kinetix에서는 평균 성공률 88.59%를 달성했습니다. LIBERO에서는 긴 추론 지연 하에서도 강력한 작업 성능을 유지하며 안정성을 입증했습니다.

실제 로봇 실험에서는 Object Storage 작업에서 90.0%, 양손 천 접기 작업에서 96.7%의 성공률을 기록하여 비동기 재계획 하에서 신뢰할 수 있는 연속 실행이 가능함을 보여줍니다.

다중 모드 모방 학습은 동일한 관측과 재계획 주기 전반에 걸쳐 다양한 실행 가능한 미래와 일관된 행동을 요구합니다. 본 연구는 이러한 요구사항을 충족하기 위해 단일 패스 정책 프레임워크인 조건부 궤적 피크(Conditional Trajectory Peaks, CTP)를 제시합니다. CTP는 완전한 행동 청크 후보, 확률 질량, 그리고 궤적 규모를 공동으로 예측합니다.

CTP는 분포 인식 피크 특화(Distribution-Aware Peak Specialization, DAPS)와 증거 기반 궤적 신념 전송(Evidence-Gated Trajectory Belief Transport, ETBT)을 통해 다중 모드 행동과 폐쇄 루프 일관성을 결합합니다. DAPS는 궤적 수준의 사후 책임과 질량 및 규모 변조 중첩 제약을 사용하여 궤적 피크를 특화하며, ETBT는 교환 가능한 후보 집합 간의 기하학적 대응을 통해 교차 청크 일관성을 유지하면서 현재 정책 증거가 과거 제약을 덮어쓰도록 허용합니다.

이러한 접근 방식은 다양한 벤치마크에서 뛰어난 성능을 보였습니다. CTP는 Push-T에서 91.40%의 커버리지 점수를 달성했으며, D3IL Avoiding, Aligning, Sorting-2에서는 각각 100.0%, 79.72%, 84.44%의 성공률을 기록했습니다. 또한 LIBERO에서는 평균 성공률 97.25%를 달성했습니다. 실제 이중 팔 실험에서는 두 개의 플레이트 작업에서 두 가지 배치 모드를 모두 보존하며 50번의 모든 시도를 성공시켰습니다.

실제 세계 실험에서 CTP는 병 유지 및 펜 배치 작업에서 $\pi_{0.5}$와 유사한 성공률을 유지하면서 정책 추론 지연 시간을 218.24ms에서 75.80ms로 크게 줄였습니다. 이러한 결과는 단일 패스 궤적 모델링이 다중 모드 행동, 폐쇄 루프 일관성, 그리고 효율적인 추론을 동시에 결합할 수 있음을 입증합니다.

이미지 압축, 복원, 생성 작업에는 두 이미지가 사람에게 어떻게 다르게 보이는지를 측정하는 방법이 필요합니다. 기존의 픽셀 오류 측정 방식은 인간의 시각을 무시하며, 가장 정확한 지각적 거리는 일반적으로 인간의 판단에 기반하여 고정된 데이터와 해상도에 묶여 있습니다. 예를 들어, 이미지 해상도가 두 배가 될 때 DISTS와 TID2013의 인간 점수 상관관계는 0.815에서 0.717로 감소합니다.

본 논문은 인간 레이블 대신 고정된 비전 인코더로부터 지각적 기하학을 도출하는 Jacobian Lens Distance(JLD)를 소개합니다. JLD는 초기 패치 특징의 국소성과 후기 인코더 표현이 포착하는 지각적 민감도를 결합하여, 인코더의 자코비안을 사용하여 인코더 출력에 가장 큰 영향을 미치는 초기 특징 공간의 방향을 식별함으로써 고정된 측정 텐서인 자코비안 렌즈를 생성합니다. 이 렌즈는 100개의 레이블 없는 이미지로부터 단 한 번만 피팅하여 생성할 수 있습니다.

JLD는 네 가지 표준 지각 데이터베이스에서 최첨단 성능을 달성하며 LPIPS, DISTS, PieAPP, DreamSim보다 일관되게 우수한 성능을 보입니다. 또한 JLD는 이미지 해상도 변화에 강건하여 TID2013에서 해상도가 두 배가 될 때 렌즈 항 상관관계가 0.850에서 0.845로만 감소합니다. 더 나아가 JLD-fast를 도입하여 LPIPS-VGG보다 4배 빠른 속도로 평균 상관관계 0.911을 달성했으며, 비디오 영역으로 확장하여 Waterloo IVC 4K에서 VMAF의 0.611 대비 0.786의 상관관계를 기록했습니다.

기업 수준의 AGI로 나아가는 마지막 단계는 스스로 운영되는 회사에 있습니다. 이러한 에이전트를 훈련하고 적응시키기 위해서는 장기적인 기업 데이터가 필요한데, 이는 획득이 어렵고 비용이 많이 들며 개인 정보 보호 제약으로 인해 제한되는 경우가 많습니다. 또한 역사적 기록은 불완전하고 실제 발생한 일만 기록하기 때문에 대안적인 결정의 결과를 보여주지 못합니다.

이러한 문제를 해결하기 위해 연구진은 에이전트가 대규모로 기업 데이터를 생성하면서 회사 운영을 공동으로 수행하는 방식을 연구하는 오피스 시뮬레이터인 MiniCorp을 소개합니다. MiniCorp은 전자상거래 회사를 예시로 사용하여 외부 세계(고객, 경쟁자, 시장 메커니즘)와 내부 세계(이벤트 관찰, 옵션 논의, 전략적 결정)를 연결합니다. 이 과정에서 기업과 시장이 상호작용하면서 에이전트의 결정이 시장에 지속적인 피드백을 제공하고 이후의 의사결정에 영향을 미치도록 합니다.

MiniCorp은 에이전트의 통신과 결정을 지속적으로 기록하여 시간 경과에 따른 정보와 그에 따른 비즈니스 결과를 보존합니다. 특히 체크포인팅 기능을 통해 동일한 상황을 다른 결정 하에서 다시 실행하여 정적인 기록에서 얻을 수 없는 비교 데이터를 제공합니다. 이를 통해 에이전트가 시뮬레이터의 결함을 악용하는 것을 방지하고 실제 시장 패턴에 기반한 현실적인 피드백을 제공할 수 있습니다.

결과적으로 MiniCorp은 AI 운영 회사를 연구하고 에이전트 훈련 및 평가를 위한 장기적이고 반사실적인(counterfactual) 기업 데이터를 확보할 수 있는 환경을 제공합니다. 이는 에이전트가 역할 전반에 걸쳐 협력하고 시장 피드백에 따라 결정을 조정하며, 초기 수익이 약함에도 불구하고 광고 탐색을 지속할 수 있도록 돕는 환경을 제공합니다.

하이브리드 선형 어텐션(HLA)은 긴 컨텍스트의 자기회귀 디코딩을 효율적으로 수행하기 위해 도입된 쿼리 의존적인 청크 수준 어텐션 메커니즘입니다. 기존의 선형 어텐션은 역사를 재귀 상태로 압축하여 효율성을 높이지만, 이 과정에서 희소하고 먼 정보에 대한 선택적 접근이 어려워지는 한계가 있었습니다. 특히 기존의 청크 기반 확장 방식은 학습된 청크 혼합 계수가 입력 내용에 고정되어 있어 각 쿼리에 대한 역사적 접근을 적응적으로 조정하지 못하는 문제가 있었습니다.

HLA는 게이티드 델타넷(GDN)을 위한 쿼리 의존적 청크 수준 어텐션 방식으로, 각 완료된 청크를 정확한 아핀 상태 전이로 표현하고 압축된 대표값으로부터 내용 의존적인 라우팅 게이트를 계산합니다. 이 게이트는 해당 역사적 전이를 항등 맵과 보간하여 청크의 가산 메모리와 이전 상태의 변환을 모두 제어합니다. 효과 지원 정규화는 희소한 추론을 위한 집중된 라우팅을 장려하여 성능을 개선합니다.

이러한 HLA는 사전 학습 적응 및 처음부터 학습하는 환경 모두에서 GDN 기반 모델을 개선했습니다. Qwen3.5 모델의 0.8B에서 9B에 이르는 범위에서 HLA는 기존 GDN 및 고정된 청크 혼합 방식보다 LongBench-V2에서 최대 5.57 퍼센트 포인트, RULER에서 3.97 퍼센트 포인트의 성능 향상을 보였습니다. 또한, 100B 토큰으로 학습된 1.3B 설정에서 HLA는 4K 컨텍스트에서 32K 컨텍스트로 RULER 성능을 향상시켰으며, 4K에서의 0.83점에서 32K에서의 4.22점으로 향상되었습니다.

이 결과는 재귀 메모리의 쿼리 의존적 구성이 장거리 컨텍스트 모델링을 개선하며, 학습 컨텍스트를 넘어선 영역에서도 효과적임을 입증합니다. 이는 청크별 아핀 요약 정보를 사용하여 효율성을 유지하면서 긴 컨텍스트를 처리하는 데 중요한 진전을 제시합니다.

개발자들이 제3자 모델을 수정하여 LLM 에이전트를 구축할 때 공급망 위협에 노출될 수 있다는 연구 결과가 나왔습니다. 연구진은 공격자가 특정 입력 패턴에 대해 악의적인 출력을 생성하는 숨겨진 행동을 포함하는 백도어를 모델에 주입하는 상황을 분석했습니다. 소프트웨어 엔지니어링 에이전트에 초점을 맞춰, 이러한 백도어가 개발자의 지도 미세 조정(SFT)과 후속 작업 수준 강화 학습(RL) 과정에서 어떻게 생존하는지 조사했습니다.

연구 결과, 백도어에 대한 SFT는 공격 성공률을 상당히 감소시키지만, 이후의 RL 과정에서는 잔여 행동이 보존되거나 심지어 공격 성공률이 증가할 수 있음을 발견했습니다. 백도어 소멸 과정 분석을 통해 생존을 촉진하는 두 가지 요인, 즉 초기 백도어 강도와 온건한 훈련에 대한 기울기 호환성이 확인되었습니다.

이러한 발견을 바탕으로, 연구진은 배포 전에 모델을 정제하여 온건한 후속 훈련 과정에서도 백도어의 지속성을 개선하는 PersistBD라는 방법을 제안했습니다. Qwen2.5-Coder-7B 모델에서 PersistBD를 적용했을 때, SFT 후 공격 성공률은 20%에서 74%로, SFT-RL 후에는 20%에서 76%로 상승했지만, 온건한 작업 성능은 유사하게 유지되었습니다.

결론적으로, 백도어가 온건한 후속 훈련을 통해 활성 상태로 유지될 수 있으며, 공격자가 의도적으로 그 지속성을 높일 수 있다는 점을 보여줍니다. 이는 AI 개발자들에게 공급망 위험을 강조하며, 에이전트로 제3자 모델을 조정할 때 상속된 백도어를 탐지하고 완화하기 위한 더 강력한 기술의 필요성을 제기합니다.

도메인 적응은 범용 대규모 언어 모델(LLM)을 특정 도메인의 전문가로 만드는 것을 목표로 합니다. 기존의 SFT+RL 파이프라인은 시작이 편리하지만 탐색 다양성을 줄이고 다단계 최적화로 인해 복잡성이 증가하는 한계가 있습니다. 이러한 한계를 극복하기 위해 본 연구는 순수 RL 기반 적응 방법을 제안하며, 특히 학습 과정에서 발생하는 'Gradient Starvation'과 'Teacher-Distribution Anchoring'이라는 두 가지 실패 모드를 식별했습니다.

이러한 문제들을 해결하기 위해 정책 최적화의 단일 단계인 One-stage Policy Optimization(OnePO)을 제안했습니다. OnePO는 교사 출력(teacher outputs)을 정책 개선을 위한 일시적인 지침으로 취급하며, 정보가 풍부한 낮은 확률의 교사 토큰 학습을 강화하는 Adaptive Objective Evolution과 현재 정책이 교사 출력을 능가할 때 교사 출력을 폐기하는 Teacher Retirement를 결합합니다.

의학 도메인 적응에 적용했을 때 OnePO는 단 20K의 훈련 샘플만으로 HealthBench(총점)에서 67.2점을 달성하며, SFT+RL 및 순수 RL보다 각각 2.7점, 7.4점 더 높은 성능을 보였습니다. 나아가 이 방법을 확장하여 공개된 의료 LLM 시리즈인 HuatuoGPT-3를 개발했는데, 27B 모델은 HealthBench(총점)에서 70.1점, HealthBench Professional에서 71.4점을 기록하며 GPT-6 Astra와 같은 최첨단 모델을 능가했습니다.

HuatuoGPT-3 모델과 코드는 GitHub에서 공개되어 있으며, 이는 RL 기반 도메인 적응의 새로운 접근 방식이 실제 도메인 특화 LLM 개발에 어떻게 기여할 수 있는지 보여줍니다.