읽을 가치가 있는 기사만, 짧고 또렷하게.

대규모 파운데이션 모델의 발전으로 인간 및 다른 에이전트와 언어 및 멀티모달 신호를 통해 상호작용하는 범용 에이전트의 발전이 가속화되었습니다. 그러나 강력한 다중 에이전트 의사결정을 위해서는 부분 관찰 하에서 다른 에이전트가 무엇을 알고, 의도하며, 무엇을 할지 추론하는 능력이 필요합니다. 현재의 에이전트 시스템은 프롬프트 설계, 메모리 또는 행동 형성 등을 통해 작동하지만, 작업을 가로질러 재사용할 수 있는 명시적인 파트너 상태 표현을 학습하지 못합니다.

본 연구는 에이전트가 상대방에 대한 잠재적인 정신 모델을 갖도록 장비를 제공하는 정신 모델 기반 에이전트(mental-model-enabled agents) 프레임워크를 소개합니다. 이 프레임워크는 관찰된 기록으로부터 숨겨진 믿음, 의도, 예상 반응을 추론하고 이를 행동 선택을 안내하는 데 사용합니다. 연구진은 첫 번째 및 두 번째 차수의 정신 상태 구조를 갖는 점진적 귀납적 마음 이론(Theory-of-Mind) 표현과 믿음 조건화 보상 모델을 함께 학습하여 파트너 상태 모델링의 이점을 유지하면서 추론 시점에 독립적으로 행동할 수 있는 에이전트를 구현했습니다.

이러한 명시적인 파트너 모델링은 언어 전용 및 멀티모달 벤치마크 모두에서 기본 에이전트 시스템보다 상호작용 품질과 마음 이론 성능을 일관되게 향상시킵니다. 이는 구조화된 파트너 모델링이 일반적인 다중 에이전트 시스템을 위한 유용한 귀납적 편향임을 보여줍니다. 해당 연구의 코드는 공개되어 있습니다.

이미지 생성 모델은 현재 균일한 토큰화 방식을 사용하여 동일한 계산 예산을 동일한 크기의 이미지 패치에 할당하고 있습니다. 이러한 정적인 방식은 추론 시점의 다양한 자원 제약에 적응하지 못하며, 배경과 세부 묘사에 동일한 노력을 투입하여 품질 대비 비용의 균형이 최적이 되지 못하는 문제를 야기합니다.

이에 연구진은 시각적 복잡성과 공간 레이아웃에 따라 컴퓨팅을 동적으로 할당하는 적응형 토큰화 프레임워크인 BudgetPix를 제안했습니다. BudgetPix는 엔트로피 기반 쿼드트리와 다중 스케일 패치 임베더를 사용하는 적응형 인코더, 다중 스케일 토큰 세트에서 고정 해상도 이미지를 재구성하는 스케일 인식 디코더, 그리고 가변 토큰 수에 맞춰 픽셀 공간 노이저를 작동시키는 유연한 훈련 및 샘플링 스케줄이라는 세 가지 핵심 구성 요소로 이루어져 있습니다.

이 프레임워크는 기존 픽셀 공간 확산 아키텍처와 원활하게 통합되어 단일 체크포인트를 다양한 컴퓨팅 예산으로 운영할 수 있게 합니다. 텍스트-이미지 생성에서 BudgetPix는 기존 컴퓨팅 예산의 25%만을 사용하여 MiniT2I-L(512^2) 및 PixelDiT(1024^2)의 충실도를 달성했습니다.

또한 MeanFlow 백본을 사용한 클래스 조건부 생성에서 BudgetPix는 품질 저하가 거의 없는 이미지를 생성하기 위해 전체 컴퓨팅 예산의 60%만을 요구하며 FID는 0.8점 증가에 그쳤습니다. 인간 및 VLM 심사위원들의 종합적인 평가 결과, BudgetPix는 기존의 예산 적응형 기준선보다 현저히 개선된 품질 효율성 균형을 확립한 것으로 확인되었습니다.

의료 분야에서 대규모 언어 모델(LLM) 비서가 임상의들에게 배포되고 있지만, 모델의 준비 상태에 대한 판단은 주로 시험 문제나 선별된 사례에서 나온 벤치마크 점수에 의존하고 있습니다. 이러한 벤치마크는 실제 사용과 유사한 정도에 따라 성능을 예측할 뿐, 시스템이 실제로 수행하는 작업들을 얼마나 반영하는지는 거의 측정되지 않았습니다.

본 연구는 8개월 동안 35개 전문 분야의 6,342명의 의사, 고급 실무 제공자 및 간호사들이 기관 비서에게 보낸 127,833개의 질의를 분석했습니다. 연구진은 각 질의를 임상 질문 및 LLM 평가 분류에 기반한 임상의 검증 프레임워크인 RCQ-Map으로 특징지었습니다. 이 분석 결과, 사용의 대부분은 문서화 및 관리(36.2%)와 지식 검색(28.9%)으로 이루어졌으며, 진단은 3.7%에 불과했습니다.

임상 실무를 모방하도록 설계된 58개의 공개 벤치마크에 RCQ-Map을 적용한 결과, 중간 벤치마크는 문서 요청이 전혀 없었고 실제 사용 작업의 31%만을 공유하는 것으로 나타났습니다. 이는 임상 실무를 모방한 벤치마크가 최첨단 모델 보고서에서 사용된 벤치마크보다 실제 사용에 훨씬 더 가깝지 않음을 의미합니다.

따라서 벤치마크 점수는 임상 AI가 실제로 수행하는 대부분의 작업에서 어떻게 작동하는지에 대해 거의 알려주지 않으며, 평가는 실제 임상 사용과 일치해야 합니다. 평가 기준은 실제 임상 사용에 맞춰 조정되어야 합니다.

흐름 일치(Flow matching)는 고품질 생성 모델을 훈련하는 확장 가능한 패러다임으로 부상했지만, 학습된 확률 흐름에서 샘플링하는 과정은 많은 네트워크 평가를 필요로 합니다. 따라서 비용을 줄이기 위해 증류(Distillation)를 사용할 수 있지만, 단일 단계 생성은 품질을 희생시키므로 소수 단계 생성(few-step generation)이 실용적인 운영 영역이 됩니다. 기존의 소수 단계 방법들은 확률 흐름을 따라 반복 계산을 수행하므로 고정된 시간 단계 이산화(timestep discretization)를 필요로 합니다. 이 이산화는 종종 경험적으로 선택되며 조정하기 어렵고, 샘플이나 공간 위치에 따라 정제 난이도가 달라질 경우 제약이 될 수 있습니다.

본 논문은 흐름 이산화를 완전히 제거하는 소수 단계 생성 프레임워크인 데이터 공간 반복(data-space iteration)을 제안합니다. 이 방법은 노이즈에서 시작하여 공유 생성자가 데이터 공간에서 직접 예측을 정제하며, 각 반복은 용량에 의해 허용되는 최적의 샘플을 생성하도록 훈련됩니다. 이 프레임워크는 분포 일치 증류(DMD)와 최소한의 변경으로 통합되어 훈련 설정이 일치하는 상태에서 반복 방법들을 통제된 비교를 가능하게 합니다.

실제 실험 결과, 클래스 조건부 ImageNet 256x256 데이터셋에서 데이터 공간 반복은 표준 이산화 기준선보다 우수하며, 스케줄 검색을 통해 선택된 변형들과 동등하거나 더 나은 성능을 보였습니다. 이는 스케줄별 훈련을 요구하지 않으면서도 빠른 생성을 위한 이산화된 흐름 공간 반복에 대한 단순하고 효과적인 대안을 제공한다는 것을 보여줍니다.

잠재적 순환 언어 모델은 레이어 블록을 반복 적용하여 추론 컴퓨팅을 정확도로 교환할 수 있지만, 한 루프에서는 동일 크기의 비순환 모델보다 성능이 떨어지는 '한 루프 세금'이 발생합니다. 이 문제를 해결하기 위해 연구진은 탄력적 잠재적 순환(Elastic Latent Recurrence, ELR)이라는 훈련 레시피를 제시했습니다. ELR은 이 세금 없이 루프된 언어 모델을 훈련할 수 있게 하며, 한 루프에서는 비순환 모델과 동일한 비용으로 유사한 정확도를 달성합니다.

추가적인 루프를 적용하면 더 많은 추론 컴퓨팅으로 더 높은 정확도를 얻을 수 있으며, 이를 가능하게 하는 세 가지 방법이 있습니다. 첫째는 학습된 단계 크기를 가진 게이티드 상태 업데이트이고, 둘째는 각 옵티마이저 업데이트 내에 루프 수를 혼합하는 것이며, 셋째는 각 패스를 루프 인덱스와 예산으로 조건화하는 것입니다. 이 방법들은 한 루프 정확도를 보존하면서도 추가 루프에서 손실을 줄이는 효과를 가져옵니다.

특히 MoE 모델에서 ELR은 큰 이점을 보입니다. 4B 밀집 모델과 30B-A3B MoE 하이브리드 모델에서 한 루프 ELR은 기준선 대비 0.52 포인트 낮고 1.04 포인트 높으며, 네 루프를 적용하면 각각 7.25 포인트와 4.75 포인트를 추가로 얻습니다. 훈련 후 결과로 Koi-4B 모델은 한 루프에서 Qwen3.5-4B와 동일한 수준의 인공 지능 지수(AAI) 점수를 기록했으며, 네 루프에서는 29점을 달성했습니다.

추론 단계에서는 마지막 루프의 어텐션 KV 캐시만 유지해도 한 루프 수준의 메모리를 보존하면서 추가 루프의 이점을 대부분 유지할 수 있습니다. 이는 모델의 효율성과 정확도를 동시에 확보하는 데 중요한 방법론을 제공합니다.

지속 학습(CL)은 사전 학습된 모델을 적응시키면서 이전 능력을 보존하는 것을 목표로 하지만, 보존을 위해 제공된 작업들이 모델이 알고 있는 모든 것을 포괄하지 못하고 망각이 그 범위를 넘어설 수 있다는 문제가 제기됩니다. 최근 연구는 언어 모델이 원본 훈련 데이터에 접근하지 않고도 유용한 리플레이 데이터를 생성하여 이러한 한계를 보완할 수 있음을 보여줍니다. 이는 모델이 자신의 능력을 더 광범위하게 보호하기 위해 보존 대상을 스스로 선택할 수 있는지에 대한 자기 보존(self-preservation) 질문을 던집니다.

이 질문을 탐구하기 위해 연구진은 작업 설명과 예시를 Task Bank로 구성하여 고정된 모델이 리플레이 생성을 안내하도록 했습니다. Qwen 모델의 지속적인 지침 튜닝을 통해 세 가지 주요 발견을 얻었습니다. 첫째, 새로운 작업과 학습률이 이전 능력이 저하되는 방식을 형성하며, 이전에 정답이었던 답변을 추적하는 것이 평균 정확도가 숨길 수 있는 손실을 드러낸다는 것을 확인했습니다.

둘째, 생성된 리플레이는 뱅크 외부 작업에 대한 망각을 줄이며, 부분적인 뱅크들을 결합하면 보호를 강화하여 이전 정답의 평균 유지율을 높였습니다. 셋째, 모델은 리플레이 대상을 선택하는 데 도움을 받을 수 있는데, 새로운 작업에 기반한 선택은 무작위 선택보다 4B 모델에서 평균 보유 유지율을 개선했습니다. 다만, 예시 예산이 고정된 경우 새로운 작업 예시를 리플레이로 대체하면 보존이 개선되지만, 새로운 작업에서의 이득은 더 작아지는 상충 관계가 발생합니다.

이러한 결과들은 모델이 리플레이 데이터를 생성하고 특정 설정에서는 리플레이 대상을 선택함으로써 더 광범위한 자기 보존을 지원할 수 있음을 시사합니다.

복잡한 3D 환경에서 현실적인 인간-객체 상호작용(HOI)을 생성하기 위해서는 환경에 대한 상호작용 가능성을 추론하는 능력과 현실적인 인간-객체 움직임을 합성하는 두 가지 상호 보완적인 능력이 필요합니다. 하지만 이러한 능력에 대한 공동 지도 학습 데이터는 대규모로 확보하기가 어렵습니다. 인간-장면 데이터는 환경 인식을 통한 움직임에 대한 풍부한 정보를 제공하는 반면, 인간-객체 데이터는 상세한 상호작용 역학을 포착하지만, 쌍을 이루는 인간-객체-장면 데이터는 여전히 부족한 상황입니다.

이에 연구진은 장면 인식과 움직임 합성을 연결하는 어포던스 기반의 분해 방법인 MAMHOI를 제안합니다. MAMHOI는 장면 이해와 움직임 합성 사이에 명시적인 움직임-어포던스 인터페이스를 통해 장면 인식 기반 모델과 어포던스 기반 HOI 모델을 분해합니다. 이 접근 방식은 쌍을 이루는 인간-객체-장면 데이터 없이도 상호 보완적인 지도 신호로부터 장면 이해와 상호작용 역학을 학습할 수 있게 합니다.

복잡한 실내 환경에서의 실험 결과는 MAMHOI가 객체-장면 침투를 줄이면서도 인간-객체 상호작용 품질을 더 잘 보존하여 보다 현실적이고 물리적으로 타당한 장면 인식 상호작용을 산출함을 보여줍니다. 이는 제한된 데이터 환경에서도 물리적으로 타당한 장면 인식 상호작용을 생성하고자 하는 개발자들에게 중요한 방법론적 기반을 제공합니다.

대규모 언어 모델(LLM)의 지식 증류(KD)는 강한 교사 모델의 지식을 약한 학생 모델로 전달하지만, 대부분의 방법은 학생 파라미터를 훈련해야 하므로 지식이 특정 아키텍처에 묶이는 한계를 가집니다. 이로 인해 증류된 지식은 해석하거나 다른 모델에 재사용하기 어렵다는 문제가 있었습니다.

본 논문은 이러한 한계를 극복하기 위해 Universal Textual Teaching(UTT)이라는 파라미터 업데이트가 필요 없는 프레임워크를 제안합니다. UTT는 교사와 학생 간의 지식 격차를 관찰하여 이를 텍스트 기반의 해석 가능하고 재사용 가능한 자연어 산출물인 프라이머(Primer)로 증류합니다. 이 프라이머는 학생이 작업을 시도하고, 프롬프터가 피드백을 교육 지침으로 변환하며, 교사가 시범을 보이고, 합성기가 교훈을 통합하는 다중 역할 상호작용을 통해 반복적으로 업데이트됩니다.

실증 결과, UTT는 수학 및 코드 생성 작업에서 뛰어난 성능을 보였습니다. KernelBench의 코드 생성 작업에서 학생의 정확도는 9.4%에서 48.6%로, Fast1 정확도는 9%에서 35%로 크게 향상되었으며, 수학적 추론 정확도는 27.6%에서 51.7%로 증가했습니다. 이는 대표적인 프롬프트 엔지니어링이나 파라미터 기반 KD 방법보다 우수한 결과입니다.

특히 UTT는 다른 교사와 학생에게도 일반화될 수 있다는 점이 주목됩니다. 한 교사-학생 쌍을 위해 합성된 프라이머는 합성 과정에 참여하지 않은 다른 학생들에게도 적용될 수 있어 지식 전달의 재사용성을 극대화합니다.

추측 디코딩은 경량 드래프터를 사용하여 여러 토큰을 제안하고 이를 대상 모델이 병렬로 검증함으로써 대규모 언어 모델 추론 속도를 가속화합니다. 특히 확산 기반 드래프터는 깊은 어텐션 기반 신경망 백본을 통해 강력한 예측을 제공하며, 이는 자기회귀 생성의 순차적 비용을 피할 수 있게 합니다. 그러나 이러한 병렬화는 단점도 발생하는데, 드래프트 블록 내의 토큰들은 이전 드래프트 토큰의 실제 정체에 접근하지 못한 채 예측되므로 자기회귀 생성 시 자연스럽게 존재했던 블록 내 의존성(intra-block dependencies)이 사라집니다.

이러한 문제를 해결하기 위해 본 연구는 병렬 드래프팅을 유지하면서 이러한 의존성을 복원하는 경량 메커니즘인 DCOCO(DFlash Contextual Corrector)를 제안합니다. DCOCO는 각 위치의 최상위 예측에 헌신하는 대신 여러 후보 토큰을 유지하고 인접한 드래프트 위치 전반에 걸쳐 컨텍스트적 호환성을 병렬로 평가하여 맥락적으로 정보가 풍부한 토큰 선택을 낮은 추가 비용으로 가능하게 합니다.

DCOCO는 네 가지 검증 백본과 열 가지 벤치마크에서 최대 6.6배의 속도 향상을 달성했으며, 이는 확장된 추론을 포함하여 일반 디코딩 대비 결과입니다. 또한 DCOCO는 동시 서빙 환경에서도 이점을 유지하는데, 4개에서 32개의 동시 요청에서 가장 강력한 경쟁 방법보다 6~23% 더 나은 성능을 보였습니다. 이는 병렬 컨텍스트 스코어를 통한 블록 내 의존성 복원이 다양한 디코딩 체제와 서빙 부하에서 일관된 가속화를 제공함을 입증합니다.

적대적 게임 환경에서 AI 에이전트가 어떻게 전략을 학습하고 적응하는지에 대한 연구 결과가 발표되었습니다. 연구진은 휴리스틱 학습(HL)을 기반으로 적대적 휴리스틱 학습(AHL)이라는 패러다임을 정립했는데, 이는 모델 가중치를 고정하면서 AI 에이전트를 학습 엔진으로 사용하여 게임 정책과 지원 소프트웨어를 개선하는 방법입니다.

이를 위해 연구팀은 12개의 실제 적대적 게임과 1,920개의 보관된 인간 프로그램을 포함하는 벤치마크인 AAArena를 구축했습니다. 에이전트는 규칙을 해석하고 상대방을 선택하며, 리플레이를 분석하고 게임 에이전트를 수정하여 정해진 매치 및 평가 예산 내에서 최고 순위를 달성하도록 설계되었습니다.

평가 결과, Opus5.5와 Claude Code 조합은 6개의 금메달을 획득했지만, 나머지 6개의 인간 순위에서는 평가된 구성이 최고 순위를 차지하지 못했습니다. 특히 규칙이 복잡한 게임에서 성능이 상대적으로 약하게 나타났습니다.

추가 실험을 통해 상대방 선택과 밀도 높은 피드백이 정책 개선을 지원하며, 에이전트가 자신의 경기 온폴리(on-policy) 리플레이와 다른 플레이어의 오폴리(off-policy) 리플레이 모두로부터 학습한다는 사실이 밝혀졌습니다. 이는 적대적 게임에서의 HL의 잠재력을 보여주지만, 게임 이해, 전략 구현, 장기 정책 개발에 있어서 지속적인 도전 과제가 있음을 시사합니다.

데이터 비디오 이해를 위한 최초의 벤치마크인 DataVista가 발표되어 멀티모달 LLM의 성능을 체계적으로 평가하는 새로운 기준을 제시합니다. 이 벤치마크는 961개의 실제 데이터 비디오와 6,775개의 평가 질문을 포함하며, 데이터 인식, 시간 추론, 내러티브 이해의 세 단계 능력 프레임워크를 기반으로 구성되어 있습니다.

DataVista는 데이터 비디오 이해에 중점을 두어 일반적인 비디오 이해나 정적 차트 이해와는 달리, 애니메이션 차트에서 데이터를 정확히 읽고 차트와 시간 전반에 걸쳐 증거를 통합하며, 내러티브 구성과 시각적 디자인이 정보를 어떻게 전달하는지 이해하는 능력을 측정합니다.

19개의 주요 MLLM을 대상으로 한 체계적인 평가 결과, 최고 성능 모델인 Gemini-3.1-Pro는 전체 정확도 70.0%를 달성했으나, 이는 인간 전문가의 성능에 비해 여전히 낮은 수준입니다. 특히 모델들은 인과 추론(Causal Reasoning)과 내러티브 구조(Narrative Structure)에서 가장 낮은 성능을 보였습니다.

추가 분석 결과, 프레임 수를 늘리거나 자막을 추가하는 것은 데이터 인식과 시간 추론에 주로 긍정적인 영향을 미쳤으며 내러티브 이해에는 제한적인 개선만을 가져왔습니다. 또한 모델 응답 분석을 통해 차트 읽기, 증거 판단, 지시 사항 이해에서 발생하는 일반적인 실패 모드가 식별되었습니다.

컴퓨터 사용 에이전트(CUA)의 발전에도 불구하고 다양하고 신뢰할 수 있는 소프트웨어 환경을 대규모로 합성하는 것은 여전히 어려운 과제입니다. 네이티브 애플리케이션 환경은 구축 및 통합에 많은 노력이 필요하여 애플리케이션 커버리지를 제한하고 특정 애플리케이션에 대한 과적합 위험을 증가시킵니다. 또한 브라우저 기반 환경은 상호작용 깊이와 워크플로우 복잡성이 제한적입니다.

이러한 한계를 극복하기 위해 소프트웨어짐(SoftwareGym)이라는 자동화 파이프라인이 제안되었습니다. 소프트웨어짐은 다양한 인터페이스, 실행 가능한 기능, 런타임 검증된 동작을 가진 GUI 소프트웨어 환경을 합성하는 것을 목표로 합니다. 이 시스템은 구조적으로 다양한 디자인을 생성하고 실행 가능한 애플리케이션으로 구현하며, 기능적 신뢰성을 보장하기 위해 GUI 평가와 반복적인 수정을 사용합니다.

연구진은 소프트웨어짐을 사용하여 12개 범주에 걸쳐 182개의 애플리케이션을 합성했으며, 평균 GUI 작업 통과율 91.5%를 달성했습니다. 또한 이 환경에서 수집된 궤적 데이터를 기반으로 소프트웨어짐-벤치(SoftwareGym-Bench)라는 120개 작업 평가 세트를 구축했습니다.

이러한 합성 환경을 CUA 훈련에 활용한 결과, 모델은 엄격하게 도메인 외부인 OSWorld 벤치마크에서 Pass@3를 41.39%에서 56.97%로 개선했으며 소프트웨어짐-벤치에서는 40.0%를 달성했습니다. 이는 합성된 소프트웨어 환경이 CUA 훈련을 위한 확장 가능하고 전이 가능한 감독(supervision) 자료로서 잠재력을 가지고 있음을 입증합니다.

4차원 오디오-비주얼 장면은 비디오, 동적 기하학, 그리고 그 안에 있는 소스들이 각자의 위치와 궤적을 가지는 것을 포함합니다. 이러한 장면을 새로운 시점에서 렌더링하려면 신호가 섞이기 전에 각 소스를 개별적인 파형으로 분리하여 장면 내에서 위치를 파악하고 관찰자에게 전파해야 합니다. 기존의 오디오-비디오 생성기는 비디오와 사운드트랙을 합성할 수 있지만, 사운드트랙은 개별 소스가 접근 불가능한 단일 오디오 믹스로 방출됩니다.

이에 연구진은 사전 학습된 오디오-비디오 생성기를 확장하여 단일 샘플링 실행에서 비디오, 혼합된 사운드트랙, 그리고 캡션이 달린 각 소스별 파형을 출력하는 SepGen을 제시했습니다. SepGen은 생성 모드와 분리 모드의 두 가지 상호 보완적인 기능을 지원합니다. 생성 모드에서는 각 소스 캡션이 해당 스템에 포함된 내용을 지정하며, 예를 들어 두 화자의 대화는 원래 순서대로 각 화자별로 하나의 스템을 출력합니다.

분리 모드에서는 입력된 오디오 믹스는 깨끗하게 유지하면서 캡션이 추출할 내용을 지정하여, 모델이 자유 텍스트 설명으로부터 녹음을 분해할 수 있도록 합니다. 이 모델은 텍스트로 합성된 장면 생성과 다른 생성기로 렌더링된 장면 및 실제 음성, 음악, 음향 효과 녹음에서 분리 작업을 평가했습니다.

결과적으로 SepGen은 언어 조건화된 분리 도구보다 우수한 성능을 보이며, 특히 음성 분리에서 명확한 우위를 보이고 캡션에서 해당 대사를 제거했을 때도 선두를 유지합니다. 코드, 체크포인트, 데이터셋은 https://sepgen.github.io/에서 제공됩니다.

코딩 에이전트의 성능을 평가하기 위해 고정된 정적 벤치마크는 시간이 지남에 따라 학습 데이터로 누출되어 더 강력한 에이전트가 이를 포화시킬 수 있다는 문제점이 제기되었습니다. 이에 연구진은 평가 시점에 작업과 오라클을 생성하여 내용 누출을 방지하고 참가 에이전트가 난이도를 설정하도록 하는 자가 확장형 벤치마크인 SWE-Duel을 소개합니다.

SWE-Duel은 두 코딩 에이전트가 상호 평가를 위해 Red-Blue 방식으로 대칭된 턴을 진행하는 경기장입니다. 한 턴에서 Red 에이전트는 실제 저장소에서 세 개의 컨텍스트 격리 세션에 걸쳐 작업을 수행하고 기능 테스트를 거친 후 미묘한 버그를 삽입합니다. 이 버그는 특정 테스트는 실패하게 만들지만 기능 테스트와 기존 저장소 테스트는 통과하게 하며, 동일 에이전트가 버그를 무작위로 수정할 수 있어야만 승인됩니다.

이러한 경쟁을 통해 11개의 모델 하네스 참가자들이 15개의 저장소에서 1,500턴 동안 경쟁했으며, 그 결과는 모델과 작업 작성 능력 간의 관계를 보여줍니다. GPT-5.5와 Codex CLI는 98.3%의 결함을 수정하며 가장 강력한 솔버로, Claude Opus 4.8과 mini-swe-agent는 27.3%의 Red 승률로 가장 강력한 작업 작성자로 평가되었습니다.

또한, 한 모델 패밀리 내에서 최신 버전으로 작성된 작업이 구 버전 참조 솔버보다 훨씬 더 자주 승리했는데, 이는 작업의 난이도가 작업 작성 능력에 비례한다는 예비 증거를 제공합니다.

언어 모델 에이전트가 긴 상호작용 스트림을 통해 작동하면서 분포 변화에 대해 지속적인 학습을 통해 온라인 적응이 필요합니다. 그러나 기존의 에이전트 하네스는 주로 순방향 정보 흐름을 통해서만 상태를 발전시키거나 추가적인 재생 데이터에 의존하여 하네스를 최적화합니다.

이에 본 연구는 엄격한 온라인 스트리밍 프로토콜 하에서 순방향 읽기 및 쓰기와 함께 역방향 수정을 결합하는 재귀적 하네스 프레임워크인 ReHarness를 제안합니다. ReHarness는 각 인스턴트 후에 결과로 나온 궤적을 피드백으로 사용하여 해당 인스턴트를 위해 검색된 반성을 수정함으로써 피드백을 텍스트 하네스 상태를 통해 역방향으로 전파합니다.

이러한 접근 방식은 세 가지 지속적인 학습 벤치마크와 세 가지 언어 모델 백본에서 강력한 원시 컨텍스트 기준선, 메모리 및 반성 기반 방법, 프롬프트 최적화 접근 방식보다 일관되게 우수한 성능을 보였습니다. ReHarness는 출처에 근거하고 의미 있는 수정을 생성하며, 분포 변화 하에서 과도하게 일반화되거나 오래된 경험을 수정하고 지속적인 학습 과정에서 안정성과 가소성을 모두 향상시킵니다.

확산 모델에 대한 온라인 강화 학습(RL) 미세 조정에서 기존 방법들의 한계를 극복하는 새로운 접근 방식인 DiffusionART가 제시되었습니다. 기존의 역과정 방법인 Flow-GRPO는 신호 할당의 문제로 인해 효율성이 제한적이며, 순방향 방법인 DiffusionNFT는 효율적이지만 적절히 조정된 지수 이동 평균(EMA) 훈련 없이는 불안정합니다. 연구진은 NFT 스타일 목표에 숨겨진 순방향-역방향 일관성 힘이 존재하며, EMA가 오프폴리 추론보다는 복원(restoration)을 통해 훈련을 안정화시킨다는 점을 밝혀냈습니다.

이를 해결하기 위해 DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)를 제안했는데, 이는 각 프롬프트의 보상을 공유된 보상 개선 방향으로 집계하여 역과정 상태에 대한 일관성 힘을 구조적으로 제거합니다. 또한 EMA 조정 없이 드리프트 적응형 복원을 위한 신뢰 영역 마스킹된 두 번째 업데이트를 추가하여 훈련을 안정화시킵니다. DiffusionART는 미분 가능한 보상 모델이 필요 없으며, 프롬프트당 샘플 수를 줄이면서도 효과적이며, 쌍별 보상 모델(DiffusionART-Pairwise)도 지원합니다.

이미지 및 비디오 생성 전반에 걸쳐 DiffusionART는 작업별 조정 없이 효율적이고 안정적인 훈련을 가능하게 합니다. 특히 HunyuanVideo-13B 모델에서 시각적 품질과 움직임 품질에 동등한 가중치를 부여한 보상을 사용할 때, DiffusionART는 DiffusionNFT 및 Flow-GRPO-Fast와 비교하여 각각 12.02배 및 11.72배 적은 GPU 시간으로 최종 단계 평균 보상 수준에 도달했습니다. 또한 평균 훈련 보상에서 각각 28.8% 및 53.0% 더 높은 결과를 달성했습니다.

인간은 주변 환경에 쉽게 반응하며 물체를 잡거나 움직임을 예측하는 등 시각 기반의 전체 신체 반응 제어를 자연스럽게 수행합니다. 그러나 이러한 시각 반응형 전체 신체 제어는 전체 신체 조정, 실시간 객체 역학 반응, 그리고 자각적 시야 기반 지각이라는 세 가지 능력을 요구하기 때문에 휴머노이드에게는 여전히 어려운 과제입니다.

연구진은 던져진 상자를 잡는 것을 대표적인 과제로 설정하고, 객체 역학을 압축된 표현으로 연결하는 세 단계 프레임워크인 Reflex를 제시했습니다. 이 프레임워크는 강화 학습을 통해 전체 신체 잡기를 학습하고, 지연된 관찰에서 움직이는 상자의 역학을 추론하며, 최종적으로 자각적 RGB-D 정보를 통해 이 역학 표현을 직접 복구하는 방식으로 작동합니다. 이러한 분해는 각 능력이 직접적인 학습 신호를 갖게 하여 시각 학습을 훨씬 더 확장 가능하게 만듭니다.

시뮬레이션 환경에서 Reflex는 자각적 RGB-D를 사용하여 85.7%의 잡기 성공률을 달성했습니다. 하지만 중요한 제약 조건으로, 시간적 시각 기록을 제거할 경우 잡기 성공률은 중심 및 측면으로 치우친 던지기에 대해 각각 35.6%와 39.8% 감소했습니다. 실제 Unitree G1 로봇에서 테스트했을 때, Reflex는 2.5m와 5m 거리에서 인간이 잡는 성공률의 76%와 59%에 해당하는 65%와 40%의 성공률을 보였습니다.

보상 모델링은 여러 평가 기준에 대해 공동으로 표현하고 추론해야 하지만, 이 과정을 토큰별로 언어화하면 상당한 추론 비용이 발생합니다. 최근 잠재 추론(latent reasoning) 연구는 연속적인 상태가 이러한 계산을 더 간결하게 지원할 수 있음을 시사합니다. 이에 연구진은 의미론적 청킹, 압축, 재구성을 기반으로 하는 잠재 평가 프레임워크인 LatentGRM을 소개합니다.

LatentGRM은 루브릭 기반 평가의 구조를 활용하여 압축을 유도함으로써 텍스트 평가 없이도 자율적인 쌍별 판단을 지원하는 간결한 연속 궤적을 학습합니다. 별도의 해석기가 이 궤적으로부터 평가 텍스트를 재구성하여 압축 과정에서 보존된 정보를 오프라인에서 볼 수 있게 합니다.

동일한 훈련 데이터와 백본을 사용했을 때 LatentGRM은 4B 및 8B 규모에서 명시적인 지도 미세 조정(SFT) 판정가와 비교하여 경쟁력 있는 집계 선호도 정확도를 달성했습니다. 특히 LatentGRM-8B는 네 가지 벤치마크 도메인에서 평가 궤적을 8.9~9.2배 압축하고 vote@5 기준 총 판정 추론 시간을 6.1~7.0배 단축했습니다.

또한, 통제된 루브릭 개입을 통해 기준에 따른 선호도 정보가 잠재 시퀀스 내에 유지됨을 확인했습니다. 이러한 결과는 연속적인 잠재 평가가 추론 비용을 크게 줄이면서도 경쟁력 있는 판단 품질을 보존할 수 있음을 입증합니다.

확산 모델과 자기회귀(AR) 모델의 장점을 결합하는 하이브리드 모델을 위해 디코딩 스케줄을 설계하는 새로운 원리가 제시되었습니다. 이 연구는 한 모델의 디코딩 스케줄 성능을 실제 디코딩 전에 예측할 수 있는지에 초점을 맞춥니다.

연구진은 확산 모델, AR 모델, 그리고 이 둘 사이의 모델들을 하나의 오염 격자(corruption lattice) 상의 경로로 설명하고, 스케줄의 비용을 병렬 단계에서 버려지는 의존성에 정의했습니다. 이 비용은 데이터의 기하학에 의해 결정되며, 특히 마르코프 그래프 상에서 경로를 따라 의존하는 데이터의 경우, 최소 단계 수는 그래프의 트리 깊이와 같아집니다. 트리 깊이는 시퀀스 길이의 로그에 비례하고 그리드의 측면 길이에 선형적으로 비례합니다.

이러한 비용을 바탕으로 사전 학습된 가중치에서 추정한 쌍별 의존성 커널을 사용하여 디코딩 전에 스케줄의 순위를 예측합니다. 이 방법은 텍스트, 이미지, 비디오 생성에 걸쳐 다양한 지표와 벤치마크 하에서 스케줄의 순위에 대한 대부분의 예측을 검증했습니다.

결과적으로 이 연구는 향후 AR 모델, 확산 모델 및 이 둘 사이의 모든 모델에 대한 디코딩을 위한 설계 원칙을 제공합니다. 개발자들은 이 결과를 활용하여 모델의 디코딩 전략을 보다 효율적으로 설계할 수 있습니다. 코드는 https://github.com/TSUITUENYUE/The-Lattice-of-Transition-Laws에서 확인할 수 있습니다.

장기 코딩 에이전트는 시의적절한 수정이 필요하지만, 피드백이 진행 중인 작업이나 근본적인 문제를 잘못 판단하거나 해결하지 못하면 비효율적이거나 심지어 해로울 수 있습니다. 기존의 비평가들은 궤적을 평가하고 피드백을 생성하는 데 중점을 두지만, 피드백 제공 후 에이전트가 취하는 후속 조치를 추적하지는 못합니다.

본 논문은 각 수정을 해결될 때까지 지속적인 메모로 취급하는 언어적 비평 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자를 사용하여 문제를 진단하며, 피드백 전달 전에 가시적인 증거와 비교하여 검토를 수행합니다. 또한 에이전트의 후속 행동을 추적하여 단순한 준수와 실제 해결을 구별해냅니다.

테스트 시 비평가로서 Opera는 네 가지 정책 모델에 대해 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 최대 12.4, 15.0, 8.9 퍼센트포인트의 해결률을 개선했습니다. 이는 경쟁 비평 기준선들 중에서 가장 높은 평균 해결률을 달성했으며, 정책이 스스로 비판할 때 정책 모델을 개선하는 효과도 보였습니다.

또한 Opera 기반 롤아웃은 추론 시 비평가 없이도 약 10.2 퍼센트포인트의 해결률 개선을 제공하며, 이는 더 강력한 모델의 롤아웃 학습과 유사한 결과를 보였습니다. 이 데이터는 에이전트의 성능을 유지하면서 Openhands에서 Terminus-2로 전환할 때 성능 저하를 방지하는 데도 기여합니다.