읽을 가치가 있는 기사만, 짧고 또렷하게.

산업혁명 시대에 기계가 정밀도를 학습한 과정을 다루는 이 글은 정확도를 달성하기 위한 초기 공정의 어려움과 해결책을 보여줍니다. 초기 대장장이 작업은 레일의 휨이나 나사 간격의 불균일함 때문에 심각한 오차를 발생시켰으며, 이는 실린더 누출이나 축의 흔들림 같은 기계적 결함으로 이어졌습니다.

당시 작업자들은 가장 작은 표시도 인치 1/16 정도의 오차를 감지해야 했으며, 이는 부품이 맞물리는 데 필요한 정밀도를 확보하는 데 큰 장애물이었습니다. 특히 증기기관 실린더를 제작할 때, 두 부품을 맞추기 위해 표면을 다듬는 방식은 실린더 전체에 걸쳐 균일한 맞춤을 보장하기 어려웠습니다.

이러한 문제를 해결하기 위해 존 윌킨슨은 실린더를 가공하는 보링 밀에 양쪽 끝에 베어링을 설치하는 독창적인 방법을 고안했습니다. 이 방법은 굽은 주조물도 직선한 구멍을 만들 수 있게 하여, 이전 방식보다 훨씬 높은 정확도를 달성했습니다.

이러한 발전은 나중에 조셉 휘트워스 같은 인물들이 백만 분의 일의 차이를 감지하는 기계를 개발하는 데 영향을 주었으며, 이는 현대의 공차 및 측정 기술의 기초가 되었습니다. 결국 기계는 물리적 한계를 극복하고 정밀한 측정과 제작을 통해 정확도를 학습하게 되었습니다.

Vision-language-action 모델은 사전 학습된 비전-언어 모델의 이해 및 추론 능력을 활용하지만, 행동만으로의 지도(action-only supervision)는 세계 역학에 대한 충분한 근거를 제공하지 못합니다. 반면, 세계-행동 모델은 비디오 생성 모델로부터 시공간적 사전 지식을 물려받지만, 분포 변화 하에서 의미론적 이해와 추론 능력은 제한적입니다.

이에 연구진은 물리 추론기, 세계 생성기, 행동 예측기를 통합한 통일된 아키텍처인 UniWAM을 제안하여 물리 세계의 의미론적 이해, 시각 생성, 행동 예측을 공동으로 학습합니다. 학습 데이터의 품질을 보장하기 위해 인간 중심 시점 데이터와 로봇 데이터를 위한 엄격한 데이터 정리 및 주석 작업 파이프라인을 개발했습니다.

또한, 언어 능력을 보존하면서 비전-언어 구성 요소를 체화된 작업에 적응시키기 위해 낮은 수준의 행동을 자연어로 표현하고 시각 질문 응답(VQA) 데이터, 인간 중심 데이터, 로봇 시연으로부터 보완적인 지도 신호를 할당하는 사전 학습 레시피를 도입했습니다. 이러한 설계는 노이즈 제거 단계를 줄이면서 성능을 유지하며, UniWAM은 분포 내 성능, 견고성, 일반화, 지시 따르기, 장기 작업 실행을 포함한 여러 평가에서 최고 수준의 성능을 달성했습니다.

나아가 연구진은 인간과 로봇 데이터의 혼합에 대한 통일된 공동 훈련의 로그-선형 스케일 법칙을 발견하여 대규모 사전 학습이 이러한 데이터 혼합에 효과적임을 입증했습니다.

실제 로봇 배포에서 단일 작업이 여러 조정된 하위 작업을 포함하는 장기적인 구성적 조작이 점점 중요해지고 있습니다. 기존의 세계 행동 모델(WAM)은 단기적인 시각적 미래와 행동을 공동으로 예측하지만, 명시적인 하위 작업 수준의 추론이 부족합니다.

이에 연구진은 조작을 시각적 하위 목표 계획기(visual subgoal planner)와 하위 목표 실행기(subgoal executor)로 분할하는 계층적 프레임워크인 시각적 목표 조건부 행동 추론(Visual Goal-conditioned Action Reasoning, ViGAR)을 제안합니다. 이 프레임워크는 현재 관찰과 전역 지침을 바탕으로 하위 목표 계획기가 다음 하위 작업에 대한 시각적 하위 목표를 예측하고, 하위 목표 실행기가 이 예측에 따라 미래 시각적 궤적과 행동을 공동으로 생성합니다.

두 구성 요소는 사전 학습된 세계 모델 표현을 공유하여 일반적인 물리적 지식으로부터 작업 수준의 계획 및 행동 생성이 이점을 얻을 수 있게 합니다. 또한 이 프레임워크는 파라미터 업데이트 없이도 전체 목표 이미지를 컨텍스트로 사용하여 다양한 하위 작업 분해와 행동을 유도하는 인컨텍스트 학습을 자연스럽게 지원합니다.

RoboTwin Clean2Random 벤치마크에서 ViGAR는 Clean 설정에서 82.00%, Random 설정에서 67.02%의 성공률을 달성하며, 가장 강력한 기준선 대비 평균 성공률에서 12.86 퍼센트포인트 더 높은 성능을 보였습니다. 이러한 효과는 다섯 가지 구성적 작업과 두 가지 인컨텍스트 학습 작업에 대한 실제 로봇 실험에서도 확인되었습니다.

기존의 합성 이미지 평가 도구들은 단순히 스칼라 품질 점수만을 제공하며 해당 점수가 부여된 이미지 영역을 식별하지 못하는 한계를 가지고 있습니다. 이에 연구진은 조건부 이미지를 선택적으로 사용할 수 있는 이미지 생성 및 편집 작업을 위한 통합 평가 도구인 VIEScore2를 제안합니다. VIEScore2는 이미지를 N x N 그리드로 표현하고 단일 모델 패스로 품질 점수와 결함 위치를 동시에 예측합니다.

이 모델은 텍스트 기반 그리드 표현을 사용하여 이질적인 공간적 감독을 위한 공통 인터페이스를 제공하며, 훈련 후 목표를 직접 검증할 수 있게 합니다. 연구진은 생성 및 편집 작업 전반에 걸쳐 점수만, 위치만, 그리고 점수와 위치를 결합한 감독을 포함하는 38K개의 예시로 학습을 진행했습니다. 또한 결함 위치를 개선하기 위해 셀 수준의 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 사용하여 GRPO를 적용했습니다.

VIEScore2는 예측 결과를 읽기 쉬운 설명으로 변환하는 파라미터 없는 파서도 포함하고 있습니다. 주요 평가 기준에서 VIEScore2는 Gemini-3-Flash의 0.491 대비 0.601의 전체 점수 SRCC를 달성했습니다. 결함 위치 식별 측면에서는 일반 목적 VLM과 전문 공간 평가 도구 모두를 능가하며, 6개 벤치마크 중 3개에서 이미지당 그리드 IoU를 기준으로 성능을 입증했습니다.

분포 매칭 증류(DMD)는 학생 모델을 훈련시키기 위해 보조 확산 모델을 추가 메모리와 계산 비용으로 유지해야 하는 단점이 있습니다. 이에 연구진은 분포 매칭을 분류 문제로 재구성하여 필요한 로그 밀도 비율을 직접 학습하는 DMAD(Distribution Matching as Adversarial Distillation)를 제안했습니다. DMAD는 공유 백본에 두 개의 판별기 헤드를 사용하여 실제 데이터와 교사 샘플을 학생 샘플과 구별하며, 보조 점수 맞춤 없이 학생을 훈련시킵니다.

이 방법은 판별기 로짓과 로그 밀도 비율을 연결하는 고전적인 항등 관계를 통해 DMD의 근본적인 분포 매칭 기울기를 복구함을 증명합니다. 또한, 실제 데이터 헤드의 경험적 로짓 간격으로부터 교사 감독을 노이즈 수준에 따라 조정하는 갭 기반 재가중치를 도입하여 감독을 개선합니다.

DMAD는 다양한 벤치마크에서 뛰어난 성능을 보였습니다. ImageNet-64x64에서 단일 단계 생성 시 FID는 1.04, COCO-10K에서 네 단계 SDXL 생성 시 14.47을 달성했습니다. 또한, 네 단계 Wan2.1-T2V-14B 모델에서는 VBench 총점 85.15를 기록하며 비교된 소수 단계 방법 및 다단계 교사 모델 중 최고의 결과를 보였습니다.

특히 MiniMax-H3-33B에서는 네 단계 학생 모델이 공동 오디오-비디오 생성에 있어 DMD2보다 79.1%, rCM보다 84.6%의 전체 인간 선호도 비율을 달성했습니다. 관련 코드와 모델은 https://yzmblog.github.io/projects/DMAD에서 확인할 수 있습니다.

로봇 기초 모델(RFM)에서 단일 단계 행동 생성을 달성하기 위해 다단계 흐름 매칭의 높은 추론 지연 시간을 극복하는 연구가 발표되었습니다. MeanFlow는 이 목표를 위한 유망한 프레임워크를 제공하지만, 이를 직접 적용할 경우 성능이 저하되는 문제가 발견되었습니다. 이는 RFM 속도장(velocity field)에서 나타나는 두 가지 동역학 때문인데, 하나는 '국소 가속도'가 초기에는 안정적이지만 디노이징 과정 후반부에 급격히 증가하고, 다른 하나는 샘플 전반에 걸쳐 크기의 확산이 진행됨을 의미합니다.

연구진은 이러한 문제를 해결하기 위해 RFM에 맞춤화된 새로운 단일 단계 행동 정책인 Kinematic MeanFlow(K-MF)를 제안했습니다. K-MF는 운동학적 항등에 기반하여 MeanFlow 공식화에서 시간 미분 항을 중간 지점을 기준으로 두 개의 하위 구간 항으로 분리합니다. 이러한 분리된 공식화는 초기 단계와 후기 단계의 디노이징 동역학을 각각 포착할 수 있게 하며, 전체 과정에서 오류 증폭을 완화합니다.

결과적으로 K-MF는 다양한 작업에서 처음부터 훈련하거나 미세 조정하는 패러다임 모두에서 RFM이 단일 단계 행동 생성을 달성하게 하며, 대부분의 설정에서 다단계 흐름 매칭보다 우수한 성능을 보였습니다. 추론 효율성 측면에서 K-MF는 GR00T-N1.6의 액션 헤드 지연 시간을 L40 및 Jetson Orin 환경에서 eager 및 컴파일 모드 모두에서 67.5%에서 74.4%까지 감소시켰습니다. 이는 최종적으로 종단 간 지연 시간을 30.3%에서 54.9%까지 줄이는 결과를 가져왔습니다.

검색 증강 생성(RAG)을 채택하는 기업들은 시스템 버전을 승인, 수정 또는 차단하는 운영 결정을 내려야 하지만, 증거가 불완전하고 평가 지표가 오류가 있는 LLM 심사관에 의존하는 문제가 있습니다. 이에 따라 산업 RAG 평가에 적용되는 증거 기반 품질 게이트 프레임워크인 AGO AI 품질 게이트를 보고합니다.

AGO는 네 가지 핵심 구성 요소를 통합합니다. 여기에는 누락된 데이터와 심사관 오류를 명시적인 결과로 취급하는 네 가지 상태의 결정 모델, 결정에 영향을 미치기 전에 LLM 심사관을 검증하는 의무적인 메타 평가 프로토콜, 결정의 확률적 위험을 정량화하는 계층적 베타-이항 게이트, 그리고 결정론적 확인, 로컬 가드레일, 구조화된 LLM 평가를 결합한 계층적 점수 시스템이 포함됩니다.

평가 과정에서 심사관 레이어는 12개 데이터셋에 걸친 10만 건의 주석이 달린 RAG 추적을 포함하는 공개 벤치마크인 RAGBench를 사용하여 평가되었습니다. 이 결과, 저비용 심사관인 gpt-4.1-nano는 완벽한 프로토콜 출력을 생성했음에도 불구하고 확률에 거의 근접한 수준(AUROC 0.603)에서 부적합한 답변을 감지하는 반면, gpt-4o는 AUROC 0.783을 달성했습니다.

또한 고정 시드 게이트 연구를 통해 회귀, 변화 없음, 개선을 포괄하는 결과는 위험한 승인을 줄여 나이브 게이트의 29.3%-41.8% 대비 22.2%-35.1%로 안전성을 높였습니다. 이러한 결과는 심사관의 품질이 각 참여에 따라 측정되어야 하며, 단일 점 추정치만으로는 출시 결정을 내릴 수 없다는 설계 선택을 뒷받침합니다.

멀티모달 에이전트는 행동을 취하기 전에 자유 형식의 추론을 생성하는 경향이 있으며, 이는 특히 소형 모델에서 유용한 행동 지침을 제공하기보다는 상당한 추론 비용을 발생시키면서 긴 추론을 초래합니다. 이러한 문제를 해결하기 위해 본 연구는 추론을 개방형 생성 대신 선택(selection)으로 재구성하는 프레임워크인 선택 기반 구조적 추론(Selection-based Structured Reasoning, SSR)을 제안합니다.

SSR은 반복되는 고수준 추론을 미리 지정된 재사용 가능한 자연어 후보로 표현합니다. 모델은 각 턴마다 보조 태스크 헤드 없이 현재 컨텍스트에 기반하여 이러한 추론 후보들 중에서 확률에 따라 선택합니다. 또한, 미리 지정된 추론 흔적을 사용하여 교사 강제 프리필링을 통해 후보들 내외부에서 토큰 확률을 공유 컨텍스트 KV 캐시를 사용하여 병렬로 계산할 수 있게 합니다.

연구진은 2B 및 4B 모델을 사용하여 7가지 멀티모달 검색 벤치마크에서 SSR을 평가했습니다. 여러 강화 학습 목표와 지도 미세 조정 과정에서 SSR은 작업 성능을 희생하지 않으면서 상당한 효율성 향상을 제공했습니다. SSR은 동급 규모의 선도 검색 에이전트와 경쟁할 만한 평균 성공률을 달성했으며, 턴당 추론 지연 시간을 90% 이상 줄이고 질문당 전체 모델 추론 지연 시간을 28~54% 감소시켰습니다.

GUI-HARVEST는 고정된 백본 모델을 사용하여 스스로 개선되는 GUI 에이전트를 가능하게 하는 자동 하네스 최적화 도구입니다. 이 기술은 GUI 모델의 실행 환경을 제어하는 실행 가능한 하네스를 최적화하는 과정에서 발생하는 세 가지 복합적인 문제, 즉 모델 의도와 관찰된 시각적 효과의 조화, 실행 결과의 변화에 따른 실패 진단, 그리고 작업 전반에 걸친 반복적인 실패 패턴을 재사용 가능한 런타임 변경으로 전환하는 문제를 해결합니다.

GUI-HARVEST는 진단을 위해 모델 출력과 실행된 행동을 이전 및 이후 스크린샷과 일치시켜 특정 인터페이스 전환에 근거를 마련하며, 반복 실행을 공동 증거 단위로 취급하여 실행 변동성을 설명하고, 이를 통해 작업 간의 반복적인 실패 패턴을 식별하고 예측된 행동 효과를 검증합니다. 이러한 접근 방식은 GUI 특화된 진단 및 검증이 보지 못한 작업으로 하네스 개선이 일반화되도록 돕습니다.

OSWorld-Verified 실험 결과는 여섯 가지 일반 목적 오픈 모델, GUI 특화 오픈 모델, 그리고 독점 모델 전반에 걸쳐 일관된 홀드아웃 이득을 보여주었습니다. 특히 Qwen3-VL-32B-Instruct 모델은 전체 평가에서 12.33점의 이득을 얻었으며, Frozen-harness 전송은 GPT-5에 13.87퍼센트 포인트의 이득을 제공했습니다.

GUI-HARVEST는 Self-Harness 및 Meta-Harness보다 우수한 성능을 보였는데, 이는 GUI 특화된 진단 및 검증이 하네스 개선이 새로운 작업으로 일반화되는 데 기여함을 시사합니다. 해당 코드는 GitHub에서 공개되어 있습니다.

Strands Decider 2B는 작고 오픈 소스인 의사결정 모델로, AI 에이전트의 도구 호출 전에 안전성을 검증하는 개입 시스템을 제공합니다. 이 모델은 에이전트가 도구를 실행하기 전에 사용자 입력에 근거하여 인수가 사실에 기반하는지, 혹은 도구 호출이 시기상조인지에 대한 두 가지 질문을 던집니다.

예를 들어, 사용자가 위치를 명시하지 않고 날씨를 물어볼 때 에이전트가 도시를 추측하여 도구를 호출하려 하면, Strands Decider 2B는 이 호출이 사용자 발언에 근거하는지, 그리고 지금 도구를 호출하는 것이 시기상조인지 판단하여 사용자에게 명확히 하도록 요청합니다. 이러한 개입 시스템은 에이전트가 근거 없는 정보를 확신하여 보고하는 것을 방지하고, 사용자와의 대화를 통해 명확한 답변을 얻도록 유도합니다.

이 시스템은 `InterventionHandler`를 통해 구현되며, 모델이 도구 실행을 차단하는 대신 진행, 거부, 확인, 안내 등의 행동을 반환하여 에이전트에게 피드백을 제공합니다. 이 의사결정 모델은 다른 에이전트나 정책에도 동일하게 적용될 수 있도록 설계되어 있으며, LLM 호출이 불가능한 경로에 안전한 판단 기준을 제공합니다.

현재 Strands Decider 2B는 GitHub와 Hugging Face에서 코드를 다운로드하여 사용하거나 기반으로 구축할 수 있으며, 관련 데이터와 시작에 필요한 모든 자료가 공개되어 있습니다.

인공지능 시스템인 AI Theorist를 사용하여 양자 물질의 물리 모델을 자율적으로 발견하는 새로운 방법이 제시되었습니다. 이 시스템은 가설 생성, 제1원리 계산, 증거 기반 정제를 통해 물리 모델을 탐색하는 AI 에이전트 시스템입니다.

연구진은 이 프레임워크를 키타에프 양자 스핀 액체의 주요 후보 물질인 $\alpha$-RuCl$_3$에 적용하여 광 스펙트럼을 통해 전자 구조를 조사했습니다. AI Theorist는 광학 및 광전류 관찰을 새로운 방식으로 해석하여 서로 다른 광 선택 규칙과 실공간 분포를 갖는 뚜렷한 엑시톤 상태를 식별했습니다.

이는 AI 시스템이 제1원리 전자 구조 및 다체 계산을 활용하여 이전에 발표되지 않은 양자 물질의 실험 관찰을 설명하는 물리 모델을 자율적으로 개발한 최초의 시연입니다. 이 연구 결과는 재료 과학 분야에서 AI 에이전트가 실험 관찰을 물리 모델과 검증 가능한 예측으로 전환하는 자율적인 이론 발견 경로를 확립합니다.

타입화된 의사결정 모델은 입력에 대해 여러 옵션에 대한 확률을 반환하며, 각 옵션은 짧은 레이블과 개발자가 모델이 적용해야 할 규칙을 명시한 정의를 포함합니다. 연구진은 이러한 공개 구현체들의 가중치를 검사하고 패치하여 확률이 정의를 따르는지 아니면 레이블을 따르는지를 조사했습니다.

연구 결과, 레이블에 대한 선호 현상인 옵션-레이블 편향이 관찰되었으며, Qwen2.5 백본을 사용한 분류 작업과 PolicyBench에서 레이블이 주로 답변으로 나타났습니다. 또한 모든 정의를 삭제해도 정확도는 변하지 않았지만, 정의만으로는 0.7971의 정확도를 지원하는 반면, 레이블을 변경하면 정확도가 +0.1511 상승하는 것으로 나타났습니다.

특히, 'von' 시스템에서는 레이블이 정의와 모순될 때 정확도가 0.8511에서 0.2281로 급락하는 현상이 발생했습니다. 이는 이전 연구에서 제약된 의사결정 헤드가 아닌 프롬프트 렌더링에서 문제가 발생함을 시사합니다. 연구진은 이러한 실패 사례를 해결하기 위한 네 가지 완화 방안을 측정하는 두 번의 호출 테스트를 제시합니다.

확산 모델을 위한 강화 학습 기반 후처리 기법인 Denoising Diffusion Policy Optimization(DDPO)은 보상 함수 하에서 역 확산 과정을 최적화합니다. 하지만 현재의 보상 최적화 접근 방식은 다양성과 품질을 희생하는 결과를 낳습니다. 본 논문은 신중한 이론적 고려와 방법 설계(method design)를 통해 이러한 트레이드오프를 개선하는 방법을 제시합니다.

저자들은 이론적 프레임워크를 분석하고 수학적으로 증명하여 확산 모델에서 오직 후반 타임스텝 업데이트만이 다양성에 해를 끼칠 수 있음을 이전 연구의 결론과 달리 입증했습니다. 또한, 최고의 정렬(alignment)과 다양성 간의 트레이드오프를 달성하기 위해 강력한 이론적 토대를 기반으로 하는 점진적 파이낸-카크(Feynman-Kac) 훈련을 제안합니다.

이러한 방법론을 바탕으로 광범위한 실험을 수행하여 세 가지 다른 작업에서 관련 확산 정책 최적화 접근 방식과 비교했습니다. 실험 결과는 정렬과 다양성 모두에서 강력한 성능 향상을 입증하며, 각 구성 요소에 대한 강력한 절제(ablations)를 제공하여 방법의 성능을 검증합니다.

인터랙티브 월드 모델이 환경을 생성하고 그 안에서 행동하는 능력은 향상되었지만, 기존 실행 가능한 월드를 의도적으로 편집하는 연구는 여전히 부족합니다. 연구진은 기존 월드를 개입시키면서 변하지 않아야 할 속성을 보존하는 것을 월드 편집으로 정의하고, 편집이 월드 개체, 역학, 시스템을 얼마나 강하게 결합하는지를 나타내는 축으로 개입 깊이(intervention depth)를 도입했습니다.

이러한 편집 능력을 구현하기 위해 업계 수준의 게임 모딩을 활용하여 IGMWorld를 도입했으며, 마인크래프트와 테라리아를 대상으로 110가지 작업과 1.1K개의 실행 가능한 상태 및 행동 기준을 포함하는 IGMBench 벤치마크를 구축했습니다. 이 작업들은 속성, 개체, 역학, 시스템 개입을 포괄하며 결정론적 실행 가능성, 행동, 보존, 시각적 검사를 통해 평가되었습니다.

프론티어 코딩 에이전트는 이미 상당한 월드 편집 능력을 보여주었으며, 가장 강력한 구성은 엄격한 작업 수준 기준 하에서 작업의 78.2%를 해결했습니다. 또한 기준 수준 성능에서는 94.8%의 성능을 달성했습니다. 그러나 개입 깊이가 깊어질수록 신뢰도는 일반적으로 감소하며, 이는 평가 기준 수가 유사한 작업에서도 지속되는 패턴입니다.

대부분의 실패한 편집은 여전히 성공적으로 빌드되고 로드되므로, 주요 어려움은 편집된 월드가 요청된 대로 행동하도록 만드는 데 있음을 시사합니다. 시각적 일관성은 별도의 약점으로 남아 있으며, 평가된 모든 구성은 50% 미만의 공동 시각 통과율을 보였습니다. 이러한 결과는 월드 편집이 월드 생성 및 상호작용과는 구별되는 별도의 능력이며, 실행 가능한 게임이 이를 연구하기 위한 실용적인 테스트베드임을 보여줍니다.

컴퓨터 사용 에이전트는 여러 애플리케이션과 겹치는 창, 시각적으로 유사한 컨트롤이 경쟁하는 복잡한 데스크톱 환경에서 행동 목표를 안정적으로 파악해야 합니다. 기존 학습 데이터는 이러한 장면들을 밀도 높은 주석이나 통제된 방식으로 다양하게 제공하지 못하여 문제점을 안고 있습니다.

이에 연구진은 실제 애플리케이션을 구성하고 탐색하는 제어 가능한 데스크톱 환경인 DeskForge를 도입하여 컴퓨터 사용 에이전트를 위한 대규모 감독 데이터를 생성했습니다. 이 환경은 애플리케이션 상태, 내용, 창 레이아웃, 외관, 해상도를 다양하게 변화시키고 스크린샷, 접근성 트리, 창 기하학을 융합하여 밀도 높은 요소 주석을 생성하며 각 실행된 행동의 결과를 기록합니다.

이 환경을 통해 1.2M개의 주석이 포함된 DeskForge-1M이라는 데스크톱 관찰 코퍼스를 구축했으며, 이는 159.7M개의 요소 인스턴스를 포함합니다. 이 데이터로 200K개의 그라운딩 예시를 사용하여 네 가지 비전-언어 모델을 미세 조정했으며, 그 결과 모델들은 데스크톱 조건 전반과 다섯 가지 외부 GUI 그라운딩 벤치마크에서 성능이 향상되었습니다.

특히 Qwen3.5-4B 모델은 ScreenSpot-Pro에서 11.51 퍼센트 포인트, OSWorld-G에서 10.11 포인트의 정확도를 높였습니다. 또한 미세 조정된 행동 모델은 장기 목표 완료에서도 성과를 보였는데, 고정된 플래너 하에서 Qwen3.5-4B는 WebArena-Infinity 119개 작업 중 31개에서 50개로, OpenApps 100개 작업 중 3개에서 15개로 목표를 해결했습니다.

이러한 결과는 실제 데스크톱 환경을 제어 가능하게 구성하는 것이 GUI 그라운딩과 장기 컴퓨터 사용 능력 향상을 위한 확장 가능한 감독 소스를 제공함을 보여줍니다. 프레임워크 코드, 데이터셋, 미세 조정된 모델은 프로젝트 페이지에서 공개되어 있습니다.

최근 고위험 영역에서 사용되는 머신러닝 모델들은 예측 결과가 불투명하여 실무자들이 예측에 기반하여 행동할 때 어려움을 겪고 있습니다. 기존의 사후 설명 방법은 모델의 행동을 이해하는 데 도움이 되지만, 고차원 출력 탐색, 최적의 설명 선택, 다양한 도구 간의 증거 종합 등 전문가들이 부족한 영역을 해결하기 어렵습니다.

이에 본 연구는 설명 지식 장벽을 완전히 제거하는 멀티 에이전트 프레임워크인 MEA를 제시합니다. MEA는 질문과 양식에 따라 설명 도구를 선택하고 구성하는 프로포저 에이전트와 모델 행동에 기반한 자연어 설명을 생성하는 액터 에이전트로 구성됩니다. 이 에이전트들은 충실도(faithfulness)에 기반한 보상을 통해 훈련되어, 표, 텍스트, 비전 양식 전반에 걸쳐 모델 행동에 근거한 자연어 설명을 생성합니다.

연구진은 특징 귀인, 반사실적 추론, 허위 특징 탐지 등 다양한 질문 유형과 각 유형에 대한 교란 기반 충실도 측정 지표를 도입했습니다. 이 과정에서 MEA는 기존의 사후 설명 도구 및 에이전트 기반 방법들을 능가하며, 훈련되지 않은 백본 모델 대비 표에서 28%, 텍스트에서 21%, 비전에서 34%의 충실도 향상을 달성했습니다.

이러한 결과는 AI 에이전트 자체가 ML 설명 가능성을 위한 확장 가능하고 적응적인 인터페이스가 될 수 있음을 시사합니다. 이는 고정된 단일 목적 도구를 넘어선 자연어 설명 가능성을 열어주며, ML 분야의 패러다임을 변화시킬 잠재력을 가지고 있습니다.

코딩 에이전트가 로봇 제어 프로그램을 작성하고 실행하며 물리적 세계로 확장하고 있습니다. 기존 엔지니어들이 수십 년간 개발한 소프트웨어 스택을 사용하여 센서에 접근하고 움직임을 제어할 것으로 예상되지만, 이전 연구들은 주로 특화된 워크플로우를 지정하고 맞춤형 인터페이스를 제공하기 위해 복잡한 커스텀 하네스를 설계하는 데 집중했습니다. 이러한 추가적인 하네스 엔지니어링이 필수적인지에 대한 질문을 제기하며, 연구팀은 ROS 2에 대한 터미널 접근만 제공하는 제로 추상화 하네스인 OpenRUA를 소개합니다.

OpenRUA는 맞춤형 추상화 계층을 우회하여 상용 코딩 에이전트에게 로봇의 네이티브 소프트웨어 인터페이스인 ROS 2에 대한 터미널 접근만을 제공합니다. 이 하네스는 최소주의적인 작업 공간 기반 설계로, ROS 2 문서와 기본 도구만을 제공하며 에이전트가 에이전틱 워크플로우를 조정하지 않고 자체적으로 작업을 정리하도록 허용합니다. 이 작업 공간 내에서 OpenRUA는 지각을 파일 입출력으로, 조작을 코딩으로 재구성합니다.

Claude Opus 5로 구동되는 Claude Code를 사용하여 OpenRUA는 CaP-Bench에서 99.0%, LIBERO-PRO에서 87.0%의 성공률을 달성했습니다. 이는 맞춤형 프리미티브나 특정 작업 훈련 없이도 상용 코딩 에이전트가 로봇의 네이티브 인터페이스를 통해 제로샷 시각운동 정책 역할을 할 수 있음을 입증합니다. 이 최소주의적인 설계 하에서 에이전트의 놀라운 창발적 행동이 드러났는데, 지각 측면에서는 에이전트가 96.80%의 에피소드에서 원시 센서 입력을 처리하고 측정값을 도출하는 프로그램을 자발적으로 작성했습니다.

또한 조작 측면에서는 에이전트가 95.87%의 에피소드에서 모션 제어 클라이언트(예: 그리퍼 제어)와 50.13%의 에피소드에서 폐쇄 루프 제어 프로그램(예: 센서 피드백에 따른 움직임 조정)을 자발적으로 구축했습니다. OpenRUA 코드는 https://github.com/terminalworld/OpenRUA에서 확인할 수 있습니다.

거대 언어 모델(LLM) 에이전트가 지식 집약적인 작업을 해결하기 위해 지속적인 외부 소스에 점점 더 의존하고 있습니다. 기존 방법들은 소스 콘텐츠의 접근 및 조직 방식을 개선하거나 에이전트 메모리 시스템이 이전 상호작용에서 재사용 가능한 지식을 보존하지만, 동일한 소스를 반복적으로 사용하는 것을 소스를 점진적으로 이해하는 기회로 삼기보다는 반복적인 접근으로 취급합니다.

본 연구는 지속적인 권위 있는 소스 위에서 재사용 가능한 소스별 역량을 개발하는 소스 학습(source learning)을 탐구합니다. 이를 위해 소스의 지식 구조, 해석, 적용 방식을 포함하는 재사용 가능한 이해를 포착하는 지속적인 소스 모델을 제시합니다. 이 모델을 구축하고 점진적으로 개선하기 위해 두 가지 상호 보완적인 학습 메커니즘을 결합한 SourceLearn을 제안합니다.

SourceLearn은 자기 주도 소스 학습(Self-Directed Source Learning)을 통해 불완전하게 이해된 부분을 식별하고 소스를 적응적으로 재방문하며, 태스크 기반 소스 학습(Task-Guided Source Learning)을 통해 다운스트림 경험을 활용하여 소스 지식의 조직 방식에 대한 국소적인 표현 격차와 반복적인 요구 사항을 드러냅니다. 이 과정에서 학습 신호가 재고해야 할 내용을 결정하며, 지속적인 업데이트는 권위 있는 소스에서 재구성됩니다.

다섯 가지 벤치마크와 세 가지 LLM 백엔드에서 SourceLearn은 하이브리드 RAG보다 최대 22.6%의 성능 향상을 달성했으며, 정적인 소스 표현 및 경험 기반 메모리 기준선보다 전체적으로 상당한 개선을 보였습니다. 이는 LLM 에이전트가 외부 소스를 활용하여 지식을 더욱 효과적으로 학습하고 활용할 수 있는 새로운 방법을 제시합니다.

거대 언어 모델(LLM)이 수학 문제에 대해 뛰어난 능력을 보이지만, 그 해답의 근간이 되는 구조적인 수학적 이해를 실제로 가지고 있는지에 대해서는 여전히 불분명합니다. 이 논문은 LLM의 수학적 이해를 체계적으로 연구하기 위한 첫걸음으로, 능력 진단과 후처리 개선을 위한 방법을 제시합니다.

연구진은 구조적 수학적 이해를 탐색하기 위해 '수학적 원시(Mathematical Primitive)'라는 개념을 도입하고, 발견(Discovery), 생성(Generation), 수용(Digestion), 실행(Execution)이라는 네 가지 차원을 평가하는 새로운 벤치마크를 제안했습니다. 이 진단을 통해 해답의 정확도가 모델의 실제 능력 프로파일을 가리고 있으며, 수학적 추론의 주요 병목은 발견 단계에 있음을 밝혀냈습니다.

특히 발견에 한정된 실패는 복구가 용이하다는 분석 결과가 주목할 만합니다. 이를 바탕으로 수학적 원시를 활용하여 추론을 모델에 선택적으로 전달하는 '원시 특권 자기 증류(primitive-privileged self-distillation)' 프레임워크를 제안했습니다.

이 프레임워크를 광범위하게 실험한 결과, 모델 크기와 까다로운 벤치마크 전반에 걸쳐 수학적 추론 능력이 기준 모델보다 일관되게 향상됨을 입증했습니다. 이는 LLM의 수학적 추론 능력을 향상시키기 위한 구체적인 후처리 방법을 제공합니다.

멀티모달 RAG 시스템에서 검색의 세분성(granularity)이 각 항목 내에 얼마나 많은 컨텍스트를 유지할지를 결정하지 않는다는 문제가 제기되었습니다. 검색 단위가 너무 거칠면 관련 없는 내용이 포함될 수 있고, 지나치게 세밀하게 선택하면 증거를 해석하는 데 필요한 컨텍스트가 손실될 수 있습니다. 기존 압축 기법들은 모달리티별 메커니즘을 사용하여 이 상충 관계를 해결하지만, 이질적인 항목 전반에 걸쳐 보존된 영역을 지역별로 조정하는 공유 절차는 여전히 열려 있습니다.

이에 연구진은 적응형 세분성 후 검색 증거 압축을 위한 프레임워크인 CANOPY(Canonical Projection over Hierarchy)를 제안했습니다. CANOPY는 검색된 항목들을 계층 구조로 표현하고, 정답 증거로 미세 조정된 노드 인코더를 사용하여 영역을 쿼리에 대해 점수화합니다. 이후 부모 상대 정제(Parent-relative refinement)를 통해 LLM 호출 없이 다양한 세분성의 여러 영역을 선택하여 노드 수준에서 가지치기 없이 압축을 수행합니다.

CANOPY는 압축 과정에서 검색되지 않은 증거를 복구할 수 없기 때문에, 비평가(critic)가 누적된 증거가 불충분하다고 판단할 경우 표적 후속 검색을 요청하고 새로 검색된 항목들을 추가하기 전에 압축합니다. 3300만 항목의 이질적인 코퍼스에 대해 다섯 가지 QA 벤치마크에서 CANOPY는 평가된 검색 기준선보다 더 높은 평균 답변 정확도를 달성했습니다.

특히 압축의 효과는 Qwen3-VL-8B-Instruct 설정에서 두드러집니다. 압축은 압축이 없는 동일한 반복 파이프라인 대비 독자 입력 증거 토큰을 14.2%에서 27.7%까지 줄이면서도 비슷한 답변 정확도를 유지했습니다. 이는 압축이 멀티홉 QA에서 주요 정확도 향상을 이끌며, 효율적인 증거 관리가 가능함을 보여줍니다.