읽을 가치가 있는 기사만, 짧고 또렷하게.

확산 모델(Diffusion Models) 학습에 있어 외부 시연이나 교사 네트워크 없이 스스로 참조하는 학습 신호를 식별하는 방법을 제안하는 연구가 발표되었습니다. 이 연구는 언어 모델 적응에서 사용되는 내부 참조 원리를 차용하여 확산 모델이 자체적으로 학습 신호를 파악할 수 있는지 탐구합니다.

연구진은 이를 위해 SALD라는 자체 참조 학습 프레임워크를 도입했는데, 이는 동일한 모델을 사용하여 각 이미지-캡션 쌍을 두 가지 노이즈 레벨에서 평가합니다. 쉬운 경로(낮은 노이즈)는 참조를 위해 기울기 추적 없이 평가하고, 더 어려운 경로(높은 노이즈)는 학습 기울기를 제공합니다. SALD는 두 경로 오류의 차이를 활용하여 어려운 경로의 목표를 조정하는 방식인 Advantage-Guided Diffusion(AGD)을 제안합니다.

추가적으로 Temporal Advantage Memory(TAM)는 학습 전반에 걸친 상대적인 어려움을 누적하여 두 노이즈 레벨 사이의 미래 간격을 조정하며, Spectral Advantage Decomposition(SAD)은 두 경로의 잔여 파워 스펙트럼을 비교하여 주파수 기반의 잠재 요소 가중치를 구성합니다. 이 모든 구성 요소는 단일 모델 파라미터를 공유하므로 외부 교사 네트워크나 추가 학습 가능한 파라미터가 필요 없으며 추론 절차도 변경되지 않습니다.

실험 결과는 다양한 아키텍처와 데이터셋에서 생성 품질의 일관된 개선을 보여주며, 구성 요소별 분석을 통해 제안된 방법의 기여도를 정량화했습니다. 이는 외부 정보 없이도 효율적으로 학습 신호를 활용하여 확산 모델의 성능을 향상시킬 수 있음을 입증합니다.

비디오 상호작용 스토리텔링은 시청자가 비디오 전개 방식을 능동적으로 제어할 수 있게 하지만, 생성 과정에서 시청자의 요청이 기반 소스와 현재 렌더링된 비디오 상태에 잠재적인 의존성을 가질 수 있다는 새로운 문제를 야기합니다. 이러한 의존성은 개별 입력에 명시되지 않지만, 기반 소스, 렌더링된 기록, 새로운 시청자의 의도가 함께 고려될 때만 나타납니다. 기존의 상호작용 비디오 생성 시스템은 주로 시청자의 지시를 따르는 데 중점을 두거나, 외부 서사 또는 지식 소스와 생성된 콘텐츠를 정렬하는 데 집중해 왔습니다.

이러한 상황에서 생성 모델이 상호작용을 지속하는 동안 어떤 맥락에 기반해야 하는지, 그리고 이질적이고 비정형적인 입력을 어떻게 이러한 기반 맥락으로 변환할 수 있는지에 대한 근본적인 질문이 제기됩니다. 본 연구는 이러한 문제를 해결하기 위해 컨텍스츄얼 그라운딩을 이질적인 입력 맥락을 비디오 생성을 위한 실행 가능한 제약 조건 모델로 변환하는 과정으로 공식화합니다. 이를 위해 VIS-Ground라는 방법론을 제안하며, 이는 구조적 맥락 추상화(Structured Context Abstraction)를 통해 기반 상태와 교차 맥락 의존성을 복구하고, 생성 제약 조건 유도(Generation Constraints Induction)를 통해 관련 의존성을 후보별 제약 조건으로 투영하며, 제약 조건 비디오 생성(Constrained Video Generation)을 통해 계획, 검증, 수정, 렌더링을 통해 이러한 제약 조건을 강제합니다.

세 가지 비디오 생성 백본을 통해 VIS-Ground는 가장 높은 전체 복합 점수를 일관되게 달성했으며, 가장 강력한 백본별 기준선 대비 평균 10.3점의 절대적인 개선을 보였습니다. 상세 분석 결과는 서사 및 지식 그라운딩 모두에서 이득을 보여주었지만, 여전히 의존성 추출과 비디오 렌더링 중 충실한 실현에 있어서 남아있는 과제들을 드러냅니다.

비전-언어 내비게이션(VLN) 연구는 주로 단일 에이전트의 단일 지시 수행에 초점을 맞추어 왔으나, 실제 환경에서는 개별 에이전트의 능력을 넘어선 작업을 위해 여러 로봇 팀이 필요합니다. 이에 본 연구는 다중 에이전트 VLN을 제약 조건이 있는 조정 문제로 체계적으로 정식화한 시스템인 체계적인 다중 에이전트 비전-언어 내비게이션(Systematic Multi-Agent Vision-and-Language Navigation, MAVLN)을 제시합니다. 각 임무는 존재 잠금 및 보유 체인과 같은 의존성 및 자원 제약 조건을 포함하는 하위 작업으로 구성됩니다.

검증된 4단계 제작 파이프라인을 통해 MAVLN을 구현했으며, 이는 최대 4개의 에이전트가 145개의 장면에서 11,724개의 에피소드를 수행하는 실험을 포함합니다. 이 과정에서 세 가지 지시 체제 하에서 제약 조건 인식 측정 지표가 함께 제공되었습니다.

또한, 본 연구는 조정 준비가 된 내비게이션 시스템인 TRISS를 제시했는데, 이는 LLM 기반 하위 작업 스케줄러, 각 에이전트의 탐색을 팀 지식으로 전환하는 공유 위상 메모리, 그리고 동시 의도를 충돌 없는 경로로 실현하는 충돌 인식 실행 메커니즘을 결합합니다. 광범위한 실험 결과는 TRISS가 포괄적인 기준선임을 입증하며, MAVLN 작업 제약 조건 하에서 스케줄링, 계획, 실행 전반에 걸쳐 개선의 여지가 있음을 보여줍니다.

텍스트-SQL 시스템이 실제 환경에 적용됨에 따라 사용자 질문의 모호성은 오류의 주요 원인이 되고 있습니다. 이러한 모호성은 종종 미묘하고 도메인이나 데이터에 특화되어 있어 시스템 출력이 사용자의 실제 의도에서 벗어나게 만듭니다. 기존에는 대화형 명확화(conversational clarification)를 통해 모호성을 해결했지만, 이는 비효율적이고 인지적으로 부담이 크며 실제 사용자 워크플로우와 잘 맞지 않는다는 한계가 있었습니다.

이에 본 연구는 자유로운 대화 대신 명시적이고 제약된 상호작용을 통해 모호성을 해결하는 새로운 패러다임인 구조화된 모호성 해소(structured disambiguation)를 제안합니다. 연구진은 실제 데이터베이스에 존재하는 자연스러운 제약 없는 모호성을 포함하며, 유효한 모호성 지점, 해석, SQL 쿼리에 대한 완전한 주석을 제공하는 최초의 텍스트-투-SQL 벤치마크인 ARCS(Ambiguity Resolution Corpus for SQL)를 구축했습니다.

실험 결과는 모호성이 존재할 때 텍스트-투-SQL 작업이 여전히 어렵다는 것을 보여줍니다. gpt-6-sol 모델은 종단 간 실행 정확도(end-to-end execution accuracy)가 51%에 불과하며, 공개된 오픈소스 모델 중에서는 27%를 넘지 못하는 것으로 나타났습니다. 이는 모호성 문제를 해결하기 위한 새로운 구조화된 접근 방식의 필요성을 시사합니다.

비디오에서 충실한 3차원 손 움직임을 복원하는 것은 종종 발생하는 가림 현상과 불완전한 시각적 관찰 때문에 어려움을 겪으며, 이는 프레임별 자세 추정의 신뢰성을 떨어뜨리고 시간적 일관성을 해치는 문제를 야기합니다. 이러한 문제를 해결하기 위해 본 연구는 중간 단계의 프레임별 자세 예측에 의존하지 않고 비디오 시퀀스에서 손 움직임을 직접 복원하는 통합 생성 프레임워크인 JoHan을 제안합니다.

JoHan 모델은 처음부터 학습되어 2차원 및 3차원 국소 손 자세 시퀀스를 학습하고 정렬함으로써 시간적 역학 및 교차 표현 일치성을 학습합니다. 생성된 2차원 궤적은 2차원 이미지의 직접적인 공간적 및 시간적 단서를 활용하여 후속 3차원 움직임 재구성을 안내하며, 학습된 움직임 사전 지식은 시간적 일관성을 촉진합니다.

또한 학습된 2차원-3차원 대응 관계는 카메라에 대한 손의 전역 위치와 방향을 복원할 수 있게 합니다. 광범위한 벤치마크 실험 결과, 이 방법은 국소 손 자세 및 카메라 공간 재구성에 있어 정확도와 속도를 크게 향상시켰습니다. 특히, 본 방법은 이전 방법들보다 훨씬 더 나은 손 움직임 역학을 포착하여 높은 프레임별 자세 정확도를 유지하면서도 훨씬 더 부드러운 움직임을 생성합니다.

코딩 에이전트 평가의 현실성을 높이기 위해 실제 소프트웨어 엔지니어의 상호작용 데이터를 수집한 연구 결과가 발표되었습니다. 연구진은 JetBrains IDE에서 수집한 4,782개의 에이전트 세션, 즉 프로덕션 세션 데이터를 분석했으며, 이 세션들은 최소 세 번 이상의 사용자 메시지를 포함하는 상호작용을 다룹니다.

이러한 장기 세션은 기존의 이슈 기반 벤치마크 작업과 두 가지 측면에서 차이가 납니다. 첫째, 사용자 요청이 프로젝트 코드 질문, 계획, 검토, 리팩토링, 실행 등 훨씬 더 넓은 범위의 작업 유형을 포함하며, 둘째, 사용자가 세션 내내 작업 유형을 전환한다는 점입니다. 따라서 세 가지 공개 상호작용 코퍼스에서 얻은 장기 세션들은 세션 길이, 작업 유형, 유형 간 전환 분포인 태스크 플로우(Task Flow)가 현저히 달라 단일 상호작용 분포가 보편적으로 현실적이지 않다는 결론을 내렸습니다.

연구진은 이러한 문제를 해결하기 위해 SWE-TaskFlow라는 접근 방식을 제시했습니다. 이 방법은 프롬프트 분할과 검증 가능한 리포지토리 QA를 통해 상호작용을 목표 태스크 플로우로 유도하면서도 검증된 작업과 테스트는 보존합니다. 또한 생성된 궤적 중에서 선택할 수 있도록 태스크 플로우 정렬 점수(TaskFlow Alignment Score, TFAS)를 도입했습니다.

실제 실험 결과에 따르면, 700개의 SWE-Bench Pro 작업에 대한 파일럿 테스트에서 작업을 여러 단계로 순차적으로 해결하는 것이 해결률에 안정적인 변화 없이 에이전트 비용을 약 두 배로 증가시켰습니다. 이는 평가에서 상호작용 프로토콜 자체가 중요한 평가 차원임을 시사합니다.

비디오-언어 모델은 더 많은 시간적 관찰이 더 신뢰할 수 있는 추론으로 이어진다고 가정하지만, 연구진은 핵심 과제가 단순히 더 많은 비디오 프레임을 효율적으로 처리하는 것이 아니라 제한된 시간적 증거 하에서 신뢰성 있게 추론하는 방법을 학습하는 것이라고 주장합니다. 이러한 문제를 해결하기 위해 연구진은 밀집된 비디오 뷰를 희소 프레임 추론을 위한 훈련 시간 참조로 사용하는 밀집-희소 후처리 프레임워크인 SAVER를 제안했습니다.

SAVER는 강화 후처리 과정에서 접지 보상(grounding rewards)과 신뢰성 게이티드 참조 보상(reliability-gated reference reward)을 사용하여 쌍을 이루는 밀집 및 희소 뷰를 최적화함으로써 작업 관련 시간적 증거를 보존하도록 장려합니다. 주목할 점은 SAVER가 비디오 질문 응답 주석을 전혀 사용하지 않고 단지 1,250개의 무작위로 샘플링된 시간적 접지 예시만을 사용하여 훈련되었다는 것입니다.

이러한 접근 방식은 세 가지 시간적 접지 벤치마크와 여섯 가지 비디오 질문 응답 벤치마크 전반에 걸쳐 프레임 예산에 관계없이 성능을 일관되게 향상시킵니다. 특히 SAVER는 훨씬 적은 프레임을 사용하면서 밀집 프레임 Qwen3.5 기준선과 동등하거나 능가하는 성능을 달성할 수 있습니다.

이 결과는 시간적 접지가 광범위한 비디오 이해 작업으로 전이되는 희소 비디오 추론 학습을 위한 효과적인 증거 위치 지정 대리자(evidence-localization proxy)가 될 수 있음을 보여줍니다.

스켈레톤 기반 추론 프롬프팅은 LLM 추론을 구조화하는 유망한 학습 없는 접근 방식이지만, 기존 연구는 대부분 영어 중심의 환경을 가정하고 있습니다. 이에 본 연구는 다국어 수학 추론에서 스켈레톤 언어 선택을 연구하기 위해 언어 인식 스켈레톤 탐색 프레임워크(LASEF)를 제안합니다.

연구 결과, 수학 벤치마크, 모델 규모, 언어 전반에 걸쳐 영어 스켈레톤이 평균적으로 작은 긍정적 경향을 보였으며, 이는 특히 작은 모델과 자원이 부족한 언어에서 두드러지게 나타났습니다. 그러나 언어 수준의 이득은 보정 후에도 크게 남지 않았으며, 영어는 보편적으로 최적의 선택은 아니라는 점을 발견했습니다.

추가적인 분석을 통해 탐욕적 디코딩, 다중 롤아웃 평가, 번역 절제, 교차 벤치마크 검증을 결합하여 스켈레톤 언어 효과의 세 가지 패턴을 발견했습니다. 이 패턴들은 방향적으로 일관되고, 평가 및 벤치마크에 따라 달라지며, 비대칭적인 부정적 효과로 나타납니다. 이러한 효과는 단순히 생성 품질만으로는 완전히 설명될 수 없습니다.

결론적으로 스켈레톤 언어는 문맥에 따라 달라지는 설계 변수이므로 다층적인 탐색이 필요합니다. LASEF의 모든 리소스는 https://github.com/lhsstn/LASEF에서 공개되었습니다.

최근 본문에서는 대규모 시점 중심 인간 상호작용 데이터가 체화 학습을 위한 물리적 감독의 중요한 출처가 되고 있지만, 비디오만으로는 물리적 상호작용의 특징인 접촉과 압력을 기록할 수 없다는 한계가 지적됩니다. 기존의 시각-촉각 데이터셋은 이러한 부족한 감독 정보를 제공하지만, 동기화된 촉각 데이터의 양은 인간 비디오에 비해 여전히 적으며, 데이터 규모의 효과를 분리하기 어렵다는 문제가 있었습니다.

이에 연구진은 단일 통합 웨어러블 설정을 사용하여 기록된 접촉이 풍부한 인간 상호작용 데이터인 TouchScale을 소개합니다. 이 데이터셋은 약 500시간 분량이며, 일상 활동과 구조화된 조작을 포괄하는 약 2천 개의 사전 정의된 작업 설명이 포함되어 있습니다. 각 기록은 시점 중심 RGB-D 비디오를 손목 RGB 비디오 및 밀집된 양손 촉각 측정과 시간적으로 정렬하여 시각-촉각 정보를 통합합니다.

TouchScale을 활용한 학습은 구체적인 성과를 보였습니다. 이전 촉각 데이터와 비교했을 때, 전체 TouchScale 데이터로 훈련하면 보지 못한 촉각 센서에 대한 제로샷 접촉 IoU가 0.134에서 0.383으로 향상되었습니다. 또한, TouchScale을 기반으로 시각 인코더를 사전 훈련하는 것은 비교된 시각-촉각 데이터셋 중 세 가지 벤치마크에서 가장 높은 행동 인식 정확도를 달성했습니다.

나아가 로봇 정책의 시각-촉각 중간 훈련에 TouchScale을 사용했을 때, 네 가지 접촉이 풍부한 조작 작업 전반에 걸친 평균 실제 성공률이 22.5%에서 57.5%로 향상되었습니다. 이러한 결과는 일관된 감지 프로토콜로 대규모로 수집된 인간 시각-촉각 데이터가 지각 능력과 로봇 조작 모두에 이점을 제공함을 시사합니다. 연구진은 향후 시각-촉각 학습을 지원하기 위해 모든 동기화된 시각-촉각 기록과 재구성된 객체 모델을 포함한 TouchScale을 공개할 계획입니다.

두 로봇 에이전트 간의 공진화된 통신 메커니즘을 이산적인 2차원(2D) 시뮬레이터에서 실제 물리 법칙이 적용된 3차원(3D) 시뮬레이터로 전이시키는 연구 결과를 제시합니다. 이 연구는 2D 환경에서 공진화된 통신 메커니즘이 3D 물리 기반 시뮬레이터로 옮겨진 후에도 기능적 역할을 유지하는지 검증하는 데 중점을 둡니다.

분석을 위해 에피소드 시간 예산, 사회적 신호(social cue), 두 역할 간의 비대칭성 등의 효과가 조사되었습니다. 결과적으로 성공률은 평가된 시간 예산에 따라 선형적으로 증가했으며, 2,000에서 6,000 물리 스텝 사이에서는 평탄화 현상이 관찰되지 않았습니다. 이는 더 짧은 에피소드를 기반으로 한 평가가 훈련된 컨트롤러의 성능을 과소평가할 수 있음을 시사합니다.

또한, 두 시뮬레이터 모두에서 사회적 신호는 내비게이션 가이드라기보다는 정지 지원 메커니즘으로 주로 기능했으며, 이는 2D 환경에서 더 두드러지게 나타났습니다. 여덟 번의 독립적인 진화 실행 분석을 통해 비대칭성의 일관된 방향이 발견되었으나 그 크기는 실행마다 달랐습니다. 에이전트 간의 처리 순서를 제어함으로써 물리 엔진의 인공적인 결과물을 배제할 수 있었습니다.

최종적으로 연구는 전이 후 관찰되는 성능 격차에 기여할 수 있는 요인들을 논의하며, 이는 2D에서 3D로의 통신 메커니즘 전이 시 발생하는 성능 차이를 이해하는 데 중요한 맥락을 제공합니다.

텍스트-음악 생성 시스템은 점점 더 설득력 있는 오디오를 만들어내고 있지만, 결과물이 사용자의 의도와 일치하는지에 대한 평가는 부족합니다. 현재의 전역 텍스트-오디오 관련 점수는 불명확한 프롬프트에 내포된 암묵적인 의도를 간과하고 악기 구성, 구조, 리듬, 분위기 진행과 같은 특정 요구사항의 실패를 가릴 수 있습니다.

이러한 격차를 해소하기 위해 본 연구는 텍스트-음악 의도 정렬을 요청의 명시적 요구사항과 암시된 음악적 의도를 모두 포함하는 독립적으로 검증 가능한 항목들로 구성된 요청별 루브릭을 만족시키는 것으로 공식화합니다. 이를 통해 평가가 단일 불투명한 점수가 아닌 의도 출처와 음악적 차원에 따라 진단적으로 이루어지도록 합니다.

연구진은 이러한 접근 방식을 MuRA-Bench라는 벤치마크로 구현했으며, 음악 전문가들이 선별한 실제 플랫폼 요청들을 포함합니다. 또한, MIRA(Musical Intent Refinement Agent)라는 테스트 시간 에이전트를 제안했는데, 이는 요청의 의도를 루브릭으로 구체화한 다음, 제한된 예산 내에서 블랙박스 생성기를 검색하여 프롬프트 수정을 반복하고 음악을 생성하며, 이를 루브릭에 따라 검증하고 피드백을 사용하여 경로 인식 트리 검색을 안내합니다.

오픈 소스 및 상업적 백엔드 전반의 실험 결과는 MIRA가 의도 정렬을 개선하여 오픈 소스 생성기가 대표적인 상업 시스템(예: Suno 및 Mureka)과 비교할 수 있는 성능을 달성할 수 있게 함을 보여줍니다. 이는 개발자들이 사용자 의도를 더 정확하게 반영하는 음악 생성 모델을 구축하는 데 중요한 통찰을 제공합니다.

온정책 증류(OPD)는 언어 모델의 추론 능력을 강화하지만, 새로운 사실적 지식이나 다단계 추론을 위한 구성 능력 중 어느 것을 습득하는지에 대해서는 여전히 불확실합니다. 연구진은 이러한 능력을 분리하기 위해 통제된 합성 프레임워크를 사용하여 학생의 초기 능력과 교사의 추가 사실, 구성 능력 또는 이 둘을 독립적으로 제어했습니다.

세 가지 모델 계열의 네 가지 모델에 걸쳐 실험한 결과, 역-KL OPD는 보이지 않는 추론 구조 전반에 걸쳐 구성 능력을 안정적으로 전달하지만, 사실적 지식은 최소한만 전달하는 것으로 나타났습니다. 이러한 비대칭성은 증류 레시피를 분리함으로써 밝혀졌는데, 역-KL 대신 순방향 KL을 사용하면 사실적 전달이 복원되며, 학생 실행(student rollouts)은 다단계 추론 실행을 구체적으로 개선합니다.

최근 사실 기반 질의응답 및 경쟁 수학 실험에서 역-KL OPD는 사실적 메모리 확장을 없이도 상당한 추론 향상을 가져왔습니다. 이는 온정책 증류가 모델의 매개변수 지식을 확장하는 것이 아니라, 이미 보유한 지식을 조직하고 구성하는 방법을 가르치는 것임을 시사합니다.

거대 언어 모델은 컨텍스트 창에 맞는 텍스트만 사용할 수 있으며 프롬프트가 전송될 때마다 내부 키-값(KV) 상태를 재계산해야 하는 한계가 있습니다. 이 문제를 해결하기 위해 연구진은 각 약 16,000 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고 나중에 재계산 없이 바이트 단위로 불러오는 메모리 계층 패키지인 galahad-kv를 테스트했습니다.

이 실험은 5000만 토큰 분량의 실제 공개 텍스트를 NVIDIA H100 GPU에서 Gemma 4 12B 및 31B 모델을 사용하여 vLLM으로 처리하며 진행되었습니다. 테스트 결과, 블록을 불러오는 작업은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐으며, GPU 에너지 사용량은 8.8배에서 12.3배 적게 사용되었습니다. 또한 전체 5000만 토큰 스트림에서 GPU 메모리는 평탄하게 유지되었습니다.

저장된 상태를 재사용하는 방식이므로 어텐션 창을 넓히는 것은 아니며, 한 번에 하나의 블록만 로드할 수 있다는 제약이 있습니다. 메모리 저장 비용은 한 번의 작업으로 발생하며 수 테라바이트의 로컬 NVMe 디스크 공간이 필요합니다.

모델은 수백만 토큰 전에 삽입된 사실에 대해 12B 모델은 100번 중 82번, 31B 모델은 98번을 정확하게 답변했으며 답변을 지어내지 않았습니다. 연구진은 이 테스트 프로토콜이 긴 컨텍스트 벤치마크를 공략하는 일반적인 방식을 저항하도록 설계되었음을 설명합니다.

DSReg(Dependency-Sparsity Regularization)라는 방법론을 통해 재구성이나 디코더 없이도 개별 세계 잠재 변수(individual world latents)를 증명 가능하게 복구할 수 있음을 입증했습니다. 기존의 방법들은 재구성이나 보조 감독 없이 잠재 변수를 연결하여 식별할 수만 했기 때문에 개별 잠재 변수들이 혼재되어 있었습니다.

이 연구는 잠재 변수들이 관측치에 대해 뚜렷한 의존성 흔적을 남기는 구조적 다양성(Structural Diversity)이라는 핵심 조건을 설정합니다. 이 조건 하에서 DSReg는 LeJEPA가 제공하는 선형 식별 가능성을 기반으로, 재구성 없이도 모든 세계 잠재 변수를 부호 순열까지 복구하는 최초의 완전 식별 가능한 JEPA를 확립했습니다.

DSReg는 학습된 체크포인트를 손실 없이 재사용하여 선형으로 식별된 표현에 사후적으로 적용할 수 있습니다. 또한, 구조적 다양성은 기존의 식별 가능한 잠재 변수 모델들의 모든 구조적 조건보다 엄격하게 약한 조건임을 보였습니다.

이 결과는 세계 모델 탐색, 학습된 시각 인코더, 외부 렌더러 등 다양한 합성 환경에서 DSReg가 밀집 예측을 보존하면서도 개별 잠재 변수 복구와 스케일링된 다운스트림 사용을 개선함을 보여줍니다.

대화형 언어 에이전트를 훈련하고 평가하려면 풍부한 사용자 상호작용이 필요하지만, 인간 피드백을 수집하는 것은 비용이 많이 들고 확장하기 어렵습니다. 이러한 문제를 해결하기 위해 연구진은 실제 사용자 행동을 모방하고 에이전트에게 유용한 학습 경험을 제공하는 시뮬레이션 사용자(Simulated users)를 대안으로 제시합니다.

연구팀은 실제 사용자 상호작용에서 파생된 13가지 현실적인 행동 패턴과 명시적인 추론 감독을 통해 인간 대화로 훈련된 목적형 사용자 시뮬레이터인 MIMESIS를 소개했습니다. 이 모델은 9B 규모에서 SOUL-Index 65.7을 달성하여 가장 강력한 최첨단 모델을 능가했습니다. 또한, 가장 강력한 기준 모델인 Claude-Opus-5와 비교했을 때 MIMESIS는 행동 충실도를 13.4점 향상시키고 튜링 거리를 3.6점 감소시켰습니다.

MIMESIS는 고정된 시뮬레이터를 사용하여 다중 턴 강화 학습을 통해 에이전트를 훈련시키는 데 사용될 수 있습니다. 나아가 연구팀은 시뮬레이터가 생성한 추론 흔적과 발언을 피드백으로 활용하는 Coached On-Policy Self-Distillation(CSD) 방법을 제안했습니다. 이 방법은 코치가 에이전트가 사용자 요구를 더 잘 예측하고 상호작용 과정에서 행동을 조정할 수 있도록 돕는 간결한 코칭 노트를 생성합니다.

CSD는 희소한 작업 보상 외에 밀도 높은 토큰 수준의 감독을 제공하여 모든 아홉 가지 평가 사용자 모델에서 추가적인 성능 향상을 가져옵니다. 이는 에이전트가 사용자 요구에 더 잘 대응하도록 돕는 동시에 행동을 효과적으로 조정하는 데 중요한 기여를 합니다.

픽셀 공간 확산 모델은 잠재 공간 모델의 손실적인 VAE를 피함으로써 세밀한 디테일이 중요한 다운스트림 작업에서 이점을 가질 수 있다는 주장을 제시합니다. 연구진은 픽셀 공간 백본으로 가는 두 가지 경로를 모두 테스트하며 이 주장을 검증했습니다.

연구팀은 3B 매개변수 픽셀 공간 텍스트-이미지 트랜스포머인 Iris-3B를 처음부터 256to512to1024 커리큘럼을 통해 사전 학습시켰으며, 사전 학습된 잠재 모델인 FLUX.2 Klein base 4B를 픽셀 공간으로 변환하는 방법도 사용했습니다. 이 두 모델을 단일 깊이 추정 및 이미지 복원/초해상화 작업에 대해 미세 조정했습니다.

결과적으로 픽셀 공간 생성 사전(generative prior)을 사용하는 것이 유의미한 개선을 가져오지 않았습니다. 깊이 추정 작업에서 Iris-3B는 직접 회귀 레시피를 사용하여 미세 조정했을 때 잠재 FLUX.2 Klein과 동등했으며, 변환된 픽셀 FLUX.2 Klein은 뒤처졌습니다. 또한 4배 DIV2K 복원 작업에서는 픽셀 모델이 잠재 FLUX.2 Klein 미세 조정 모델보다 우위를 보이지 못했으며, 변환된 픽셀 모델은 약간 뒤처졌습니다.

그럼에도 불구하고 Iris-3B는 픽셀 트랜스포머(PiT) 헤드를 사용하여 3B 매개변수로 확장하고 잠재 모델과 경쟁할 수 있는 텍스트-이미지 품질을 달성하며, 공식 평가자들 기준 1024^2에서 Qwen-Image에 필적함을 보여줍니다. 연구팀은 이 결과와 실패 모드에 대한 내용을 공개하고 관련 가중치와 훈련 코드를 공개하여 픽셀 공간 생성 연구에 기여하고자 합니다.

듀얼 프로세스 에이전트는 빠른 정책과 느린 숙고 모델을 결합하는 방식으로 작동합니다. 이 연구는 게임이 진행되는 동안 게이트가 열릴 때만 추론형 비전-언어 모델에게 제어권을 넘기는 빠른 학습된 액터를 연구하며, 이를 위해 닫힌 루프 둠(Doom)과 새로운 "System One" 유형의 결정 모델을 llama.cpp 인터페이스를 통해 사용했습니다.

900개의 홀드아웃 질문에서, 파라미터 크기가 0.15B에서 9B인 결정 모델들은 오류 중 무작위보다 1.6~1.8배 더 자주 아이템을 선택했습니다. 이러한 선택 빈도는 옵션 순서에 따라 일부 모델의 정확도가 달라졌지만, 정확도, 보정, 민감도는 서로 구별되며 유사한 정확도를 가진 모델들 간에도 AUROC 값이 크게 차이납니다. 특히 가장 민감한 모델의 신뢰도는 잘못된 답변이 아니라 실패 상황을 추적한다는 점이 주목됩니다.

추론 모델을 활용하는 것이 결정에 미치는 이득은 무작위로 보류하는 것보다 훨씬 컸으며, 이는 액터의 AUROC에 비례하여 약 0.13의 이득을 가져왔습니다. 다만, 이 이득의 절반 정도는 추론 모델이 담당했으며, 닫힌 루프 환경에서는 계획을 확정하거나 탐색 규칙을 고정하는 것이 에이전트가 멈추거나 죽는 경우가 더 많다는 결과를 보였습니다.

또한, 추론 모델이 잠긴 문에 열쇠가 필요하다는 정보를 얻는 대신 일반 문을 잠긴 문으로 처리하는 방식으로 작동했는데, 이는 상태 정보가 구별할 수 없는 상황에서 추론 모델이 정보를 활용하지 못할 때 수집 단계로 되돌아가는 한계를 보여줍니다.

다중 교사 온폴리 증류(MOPD)는 공통 도메인 합성 및 라우팅 도메인 증류와 같은 두 가지 설정에서 사용됩니다. 이 설정들은 일반적으로 각 교사의 종점 정책을 전달하는데, 이는 훈련 후 변경된 내용과 교사의 기본값에서 물려받은 선호도가 혼합된 결과입니다. 연구진은 각 교사의 기본값에서 차감된 로그잇 이동(logit shift)을 학생의 고정된 초기화에 재고정하는 $\Delta$-MOPD를 도입하여 이 문제를 해결하고자 합니다.

$\Delta$-MOPD는 종점 전달을 방해하는 메커니즘을 드러냈는데, 기본값에서 물려받은 당김(inherited base pull)이 훈련 후 이동보다 커질 수 있다는 점입니다. 이러한 현상을 제거하면 교사 항의 노름 비율과 목표-학생 KL 발산이 감소하여 전달 효율성이 향상됩니다. 실험 결과, 세 명의 합성 교사를 사용할 때 $\Delta$-MOPD는 종점 합성 성능을 4.11 수학 점과 1.95 5개 벤치마크 점만큼 능가했으며, 두 명의 교사에서는 종점 정확도와 일치하는 결과를 보였습니다.

또한, 단계적 라우팅(phased routing) 환경에서는 두 가지 순서 모두에서 평균 성능이 더 높고 관찰된 순서 간격이 10.50점에서 6.42점으로 감소했습니다. 반면, 각 업데이트가 한 명의 교사를 포함하는 교차 라우팅(interleaved routing) 환경에서는 두 목표가 비교할 만한 성능을 보였습니다. 이는 목표 구성이 교사 선택과 보완적인 독립적인 설계 축이 될 수 있음을 시사합니다.

흐름 정책(Flow policies)은 풍부하고 다양한 행동 분포를 포착하지만, 이를 오프폴리시 RL로 미세 조정하여 시연을 능가하는 개선을 이루는 데에는 어려움이 있습니다. 특히 정책이 여러 흐름 단계에 걸쳐 행동을 생성하기 때문에 학습된 가치 함수에 대해 흐름 정책을 미세 조정하는 것이 복잡합니다. 기존의 애드전트 매칭(Adjoint matching) 방법은 최종 행동에서 가치 정보를 역전시키는 원칙적인 방법을 제공하지만, 매 단계마다 정책을 통과하는 벡터-야코비안 곱을 필요로 하여 비용이 증가하는 문제가 있었습니다.

연구진은 사전 훈련된 흐름 정책의 배치 평균 속도 야코비안이 대각선에 집중된다는 사실을 발견하고, 이를 바탕으로 최종 행동의 가치 기울기를 흐름 시간으로 조정하는 닫힌 형태의 스칼라 애드전트를 도출했습니다. 이 방법은 매 단계의 벡터-야코비안 곱을 제거하여 계산 비용을 줄입니다. 또한, 이 스칼라 애드전트를 통해 정책이 생성한 행동에 대한 비평가(critic)의 가치를 제어하는 것이 특히 중요함을 확인했습니다.

이러한 발견을 기반으로 연구진은 스칼라 애드전트와 행동에 대한 가치 페널티를 결합한 Q-러닝과 스칼라 애드전트 매칭(SQAM)을 제안했습니다. SQAM은 네 가지 가장 어려운 OGBench 도메인에서 이점을 집중시켰으며, 각 도메인에서 가장 강력한 기준선보다 18%에서 35%의 성공률 향상을 보였습니다. 나아가 SQAM은 실제 양손 로봇에서 시각-언어-행동 정책을 미세 조정하는 실험에도 적용되었으며, 세 가지 작업 모두에서 지도 미세 조정보다 성능이 향상되었습니다.

대규모 언어 모델 에이전트가 이전 상호작용에서 추출한 재사용 가능한 기술을 보존함으로써 작업 전반에서 개선될 수 있습니다. 최근 연구들은 정책과 스킬뱅크가 공동으로 진화하도록 하여 작업 실행과 기술 추출을 함께 최적화하는 방법을 제시했습니다. 하지만 에이전트가 계속 학습함에 따라 기술 제안을 보상하는 것이 기술의 이점과 에이전트의 개선을 혼동할 수 있으며, 각 제안된 기술을 직접 테스트하려면 비용이 많이 드는 추가적인 에이전트 실행이 필요합니다.

이러한 문제를 해결하기 위해 본 논문은 UniSkill을 소개하며, 환경과 상호작용하기 위해 공유 정책을 사용하는 방법을 제안합니다. UniSkill은 결과 궤적에서 스킬뱅크 편집(추가, 업데이트 또는 수정 없음)을 제안하며, 에이전트는 환경 보상으로부터 학습하고 대조적인 행동 피드백이 스킬 제안 학습을 안내합니다. 이 피드백은 검색된 기술을 제안된 기술로 대체했을 때 현재 에이전트의 행동 로그 가능도 간격이 어떻게 변하는지를 측정하여 에이전트 정렬 신호를 제공하며, 이를 통해 각 제안에 대한 새로운 실행 없이도 효율적인 학습이 가능해집니다.

또한, 제안된 기술 내용이 좋지 않을 때 적절한 편집 작업을 억제할 수 있으므로 탐색을 보존하기 위해 스킬 편집 지원 정규화를 추가로 적용했습니다. 실험 결과, UniSkill은 ALFWorld에서 98.4%, WebShop에서 84.7%의 성공률을 달성하며 안정적인 공동 훈련을 유지했습니다. 추가적인 ALFWorld 실험에서는 공유 정책이 더 작은 백본을 사용할 때도 UniSkill이 효과적임을 보여주어 효율성과 성능을 동시에 입증합니다.