읽을 가치가 있는 기사만, 짧고 또렷하게.

인간의 움직임을 휴머노이드 로봇으로 전달할 때 로봇의 형태에 맞추면서 환경과의 상호작용을 보존하는 것이 핵심 과제입니다. 특히 지면이나 조작 물체와의 접촉이 신체 비율 차이에도 불구하고 일관되게 유지되어야 하는 로코-조작(loco-manipulation) 작업에서 이러한 문제는 더욱 복잡해집니다. 기존의 골격 움직임만으로는 이러한 상호작용을 완전히 설명하기 어렵고, 물체의 궤적을 고정하면 새로운 신체 형태에 대한 적응이 제한됩니다.

본 논문은 이러한 문제를 해결하기 위해 인간 시연에서 로봇과 다중 물체의 움직임을 공동으로 재타겟팅하는 통합 접근 방식인 OTR ETARGET을 제안합니다. 이 방법은 표면 상호작용을 부호 거리, 가장 가까운 표면점, 상대 방향을 통해 표현하고, 엔트로피 최적 수송(entropic optimal transport)을 사용하여 인간, 로봇, 물체의 기하학적 구조 전반에 걸쳐 이러한 양을 전달합니다.

OTR ETARGET은 결과적인 상호작용 목표를 제약된 역기구학 공식화에 통합하여 움직임 스타일과 접촉 보존을 균형 있게 맞추고, 각 프레임에서 로봇과 물체의 자세를 공동으로 최적화합니다. 이 공식화는 장면이나 시연을 재조정하지 않고도 로봇-물체 및 물체-물체 상호작용을 수용할 수 있습니다.

OMOMO 데이터셋에서 제안된 접근 방식은 OmniRetarget의 28% 및 29.3%에 비해 로봇-물체 상호작용 자커드 점수 87%와 깊이 오차 8.7mm를 달성하며 우수한 성능을 입증했습니다. 또한, 강화 학습을 통해 재타겟팅된 참조에 대해 훈련된 전신 정책을 사용하여 실제 G1 휴머노이드로의 움직임 전달을 시연했으며, 이는 두 손으로 상자를 집어 테이블 위에 놓는 동작을 포함합니다.

그룹 상대 정책 최적화(GRPO)는 추론 언어 모델을 훈련하는 데 널리 사용되며, 동일한 프롬프트의 롤아웃에 걸친 보상을 중심으로 정규화하여 이득을 계산합니다. 여러 보상이 있을 경우 GRPO는 보상 구성 요소를 합산하고 전체 보상을 그룹 내 표준 편차로 정규화합니다. 그러나 상관관계가 크고 규모가 큰 보상들은 이 정규화 과정을 지배하여 더 작은 규모의 보상 신호를 억제할 수 있습니다.

이에 본 연구는 쌍별 공분산을 피어슨 상관 계수로 정규화하는 상관관계 정규화 GRPO(CorrGRPO)를 제안합니다. CorrGRPO는 전체 보상의 중심값을 유지하면서 서로 다른 규모의 보상들이 상관관계 기반 정규화에 미치는 영향을 균형 있게 조정합니다. 이를 통해 이득 크기가 큰 규모의 보상 구성 요소에 의해 지배되지 않고 보상 상관관계를 반영하여 적응할 수 있게 됩니다.

연구진은 CorrGRPO를 코드 생성, 도구 호출, 에이전트 보안이라는 세 가지 영역에서 GRPO 및 다른 변형 모델과 비교했습니다. 이 비교는 0.5B에서 8B 파라미터에 이르는 다양한 규모의 모델을 사용했습니다. 결과적으로 코드 생성, 도구 호출, 에이전트 보안 세 영역 모두에서 개선이 나타났습니다.

CorrGRPO의 코드는 https://github.com/HKUST-KnowComp/CorrGRPO에서 공개되어 있습니다.

거대 언어 모델(LLM)은 훈련 과정에서 백도어 공격에 취약하며, 특정 입력에 대해 원치 않는 행동을 유발할 수 있습니다. 기존의 백도어 방어책들은 백도어를 제거하려다 모델의 출력 분포를 정상적인 프롬프트 쪽으로 이동시켜 모델 성능과 안전성을 저하시키는 문제가 있었습니다.

이에 연구진은 훈련 없이 목표 지향적인 백도어 제거를 위한 방법인 NEEDLE을 제안했습니다. 이 방법은 트리거가 식별되면 활성화 벡터를 통해 백도어 방향과 거부 공간을 추정하고, 순차적인 가중치 직교화를 적용하여 백도어를 억제하면서 거부 관련 표현에 변화가 생기지 않도록 합니다.

NEEDLE의 가장 큰 장점은 깨끗한 참조 모델이나 오염된 훈련 데이터가 필요 없다는 점입니다. 여러 모델 계열과 공격 유형에 걸쳐 평가된 결과, NEEDLE은 평가된 방어책 중 가장 낮은 평균 공격 성공률(ASR)을 달성했으며, 특히 까다로운 코드 주입 공격에 대해서는 0%의 성공률을 보였습니다.

또한, 이 방법은 KL 발산이 가장 낮고 모델의 능력과 안전성에 최소한의 변화만을 가져왔습니다. 이는 백도어를 제거하면서도 모델의 핵심 기능을 보존해야 하는 개발자들에게 매우 실용적인 접근 방식이 될 수 있습니다.

확산 언어 모델(MDM)의 역과정은 일반적으로 위치에 대해 분해(factorized)되어 있어, 확산의 속도 이점이 가장 중요한 소수의 스텝(few-step regime)에서 샘플 품질을 제한하는 문제가 있습니다. 최근 연구에서는 위치 간의 상관관계를 포착하기 위해 변분 오토인코더로 훈련된 연속 가우시안 잠재 공간을 도입했지만, 이러한 접근 방식은 잠재 공간이 무시되는 후방 붕괴(posterior collapse) 현상에 취약합니다.

이에 연구진은 전문가 라우팅 결정에 따라 결정된 공유 잠재 공간에 대한 분해된 분포들의 혼합으로 역과정을 구축하는 향상된 전문가 혼합(Enhanced Mixture-of-Experts, E-MoE)을 제안합니다. 이 방법은 분해된 기준선 대비 활성 파라미터를 증가시키지 않으면서 전문가 라우팅을 활용하여 작동합니다.

E-MoE는 합성 멀티모달 벤치마크, 이진화된 MNIST, LM1B 등 다양한 벤치마크에서 분해된 기준선보다 소수의 스텝 생성 성능을 개선했습니다. 이는 MDM의 속도 이점을 유지하면서 샘플 품질을 향상시키는 새로운 방법을 제시한다는 점에서 주목할 만합니다.

오디오-비주얼 대규모 언어 모델(AVLLM)은 시각, 청각, 언어 정보 간의 상호작용을 통해 멀티모달 이해와 추론에서 놀라운 발전을 이루었습니다. 하지만 최근 연구들은 AVLLM이 심각한 문제에 직면해 있음을 보여주는데, 이는 소스 혼란 기반 접지 환각(source-confused grounding hallucination) 현상으로, 사용되지 않는 양식으로부터 오는 단서가 요구되는 양식에서 지지하지 않는 응답을 유도하여 실제 애플리케이션에서의 신뢰도를 저해합니다.

기존 방법들이 이러한 실패를 완화하는 데 진전을 이루었지만, 이러한 현상이 내부적인 교차 양식 상호작용에서 어떻게 발생하는지에 대해서는 충분히 이해되지 않았습니다. 연구진은 경로 개입 및 표현 분석을 통해 질문 상태가 필요한 소스 증거와 함께 방해하는 단서들을 포함하는 질문 중계 메커니즘을 밝혀냈습니다.

이러한 발견을 바탕으로 연구진은 질문 중계 단계에서 교차 양식 간섭을 완화하는 학습 없는 방법인 SECRET(SourcE-Conditioned RELay sTeering)을 제안했습니다. SECRET은 서로 다른 양식 경로 개입을 통해 얻은 대조적인 질문 표현을 사용하여 원래의 질문 상태를 필요한 소스 증거로 유도합니다.

세 가지 AVLLM에 대해 CMM과 AVHBench라는 두 가지 널리 채택된 벤치마크에서 실험한 결과, SECRET은 기존의 학습 없는 방법들보다 일관되게 우수한 성능을 보이며 소스 혼란 기반 접지 환각을 상당히 완화했습니다. 이는 기본 모델 대비 최대 18.0%와 7.1%의 퍼센트 포인트를 개선하는 결과를 가져왔습니다. 또한 양식별 캡셔닝은 개방형 생성으로의 일반화 가능성을 입증합니다.

대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 강화 학습(RL) 후 훈련의 대안으로 파워 샤프닝드 샘플링(Power-sharpened sampling)이 제시되었습니다. 이 방법은 외부 보상이나 파라미터 업데이트 없이 기본 모델 내에서 고확률 시퀀스를 증폭시켜 추론을 개선하며, RL 방식의 비용이 많이 드는 최적화와 불균일한 일반화 문제를 피할 수 있습니다.

그러나 이 접근 방식은 탐험-활용(exploration-exploitation)의 근본적인 상충 관계에 직면합니다. 샤프닝 강도가 강할수록 탐험이 제한되어 타당하지만 잘못된 추론 경로에 갇히게 되며, 약할수록 정답 분포가 분산되는 문제가 발생합니다. 이러한 상충 관계를 해결하기 위해 병렬 파워 템퍼링(Parallel Power Tempering, PPT)이 도입되었습니다.

PPT는 병렬 템퍼링을 통해 파워 샤프닝드 LLM 샘플링을 구현하며, 서로 다른 샤프닝 수준에서 여러 복제본을 동시에 실행하여 낮은 파워의 복제본은 다양한 추론 경로를 탐색하고 높은 파워의 체인은 샤프닝된 목표가 선호하는 고확률 응답을 더 잘 활용할 수 있게 합니다. 또한, 이 연구는 이전 파워 샘플러에서 확인된 절단 편향을 완화하고 제한된 메모리 및 컴퓨팅 예산 내에서 효과적인 스왑 전략을 탐구하여 추론 시점 샘플링에 맞게 조정했습니다.

광범위한 실험 결과는 단일 체인 파워 샤프닝드 샘플링의 성능을 크게 향상시키며 RL 후 훈련 모델보다 우수한 성능을 보였습니다. 이는 더 높은 품질의 추론 흔적을 생성하고 심지어 최첨단 모델과 비교할 수 있는 성능을 달성했음을 의미합니다.

다양한 에이전트 역할을 위해 이기종 모델을 결합하는 멀티 에이전트 LLM 시스템이 증가하고 있지만, 텍스트 기반 통신을 위해서는 수신 모델이 송신 모델이 이미 처리한 공유 컨텍스트를 미리 채워야 하는 문제가 발생합니다. 키-값(KV) 캐시를 재사용하면 이러한 중복을 피할 수 있지만, 모델 패밀리 간의 전송은 토큰화, 모델 깊이, KV 표현의 차이를 처리해야 합니다.

이러한 문제를 해결하기 위해 연구진은 송신자와 수신자 모두를 고정 상태로 유지하는 사전 채움 없는(prefill-free) 크로스 패밀리 KV 캐시 전송 방법인 HeteroFold를 제안했습니다. HeteroFold는 모델 구조를 정렬하고 송신자의 캐시를 수신자 공간으로 매핑한 다음 수신자의 동작을 보존하도록 보정합니다.

HeteroFold는 여섯 가지 전송 방향에서 모든 장문 컨텍스트 벤치마크와 대부분의 단문 설정에서 최고의 캐시 전송 성능을 달성했으며, 멀티 에이전트 벤치마크에서 텍스트 기반 통신을 일치시켰습니다. 특히 32K 컨텍스트 길이에서 Llama-3.1-8B에서 Ministral-3-14B로의 전송은 네이티브 프리필(Native Prefill)보다 10.7배 빠르고, Dense Latent 및 KV Ridge와 같은 최첨단 사전 채움 없는 기준선보다 1.18배에서 1.47배 더 빠릅니다.

이러한 결과는 수신자의 사전 채움 없이도 효율적인 크로스 패밀리 KV 재사용이 가능함을 보여줍니다.

거대 언어 모델(LLM) 라우팅은 쿼리를 이질적인 후보 모델 풀에서 가장 적합한 모델에 할당하여 LLM 추론의 품질과 효율성 간의 균형을 개선하는 것을 목표로 합니다. 기존 라우터들은 특정 쿼리 워크로드와 후보 모델 풀에 맞춰 국소 적합(local fitting)을 통해 학습되므로, 라우팅 환경이 변할 때 추가적인 감독이나 재학습이 필요하다는 한계가 있었습니다.

본 연구는 LLM 라우팅을 기반 모델 관점에서 접근하여 작업, 후보 모델, 배포 조건에 걸쳐 일반화되는 재사용 가능한 라우팅 능력을 학습하는 방식을 제안합니다. 이를 위해 RouteFM을 도입했는데, RouteFM은 행동적 맥락으로부터 익명의 후보 모델을 특징화하고 목표 특정 능력을 추론함으로써 라우팅 결정을 고정된 모델 정체성이나 단일 환경에 묶지 않습니다.

다양한 이질적인 라우팅 환경에 걸친 에피소드 사전 학습을 통해 이 능력은 고정된 라우터에 의해 재사용될 수 있으며, 컨텍스트만으로 새로운 환경에 적응할 수 있습니다. 실험 결과, RouteFM은 도메인, 양식, 후보 모델 풀, 컨텍스트 예산의 변화에 걸쳐 전이가 이루어졌으며, 행동적 증거가 제한적일 때 가장 큰 이득을 보였습니다.

MMR-Bench에서 사전 학습에서 제외된 평가를 통해 RouteFM은 후보 모델당 단 8개의 관측치만으로도 가장 강력한 기준 모델보다 2.23 품질 점수를 능가했습니다. 이는 LLM 라우팅을 반복적인 국소 적합에서 벗어나 한 번 사전 학습하고 어디서든 라우팅할 수 있는 패러다임으로 전환할 수 있음을 뒷받침합니다.

기존의 대규모 언어 모델(LLM) 라우팅 방법은 모델들을 독립적으로 평가하여 상위 k개의 모델을 선택하는데, 이는 모델 간의 상관관계를 무시하고 엄격한 계산 예산을 강제합니다. 이로 인해 라우터는 실패 모드를 공유하는 중복 모델을 선택하는 경우가 많아 전체 성공 확률이 제한됩니다. 이러한 문제를 해결하기 위해 모델의 상보성을 명시적으로 모델링하는 라우팅 프레임워크인 FlexRouter를 제안합니다.

FlexRouter는 선택된 모델 중 적어도 하나가 올바른 응답을 생성할 확률을 최대화하는 답변 커버리지를 최적화하는 것을 목표로 합니다. 이는 여러 후보 출력이 생성된 후 다운스트림 검증자나 사용자가 최종 선택을 하는 실제 추론 파이프라인에 부합합니다. 이 프레임워크는 라우팅을 커버리지 중심의 부분 집합 선택 문제로 공식화하고, 모델의 역량과 중복성을 자연스럽게 포착하는 결정점 과정(DPPs)을 사용하여 라우팅 정책을 모델링합니다.

또한, 실제 목표 부분 집합 없이 커버리지를 직접 최적화하기 위해 실패 집합에 대한 주변화(marginalizing over failure sets)를 기반으로 하는 훈련 목표를 도입했습니다. 추론 시에는 주변 로그 결정량 이득(marginal log-determinant gains)에 기반한 탐욕적 전략을 사용하여 사전 정의된 예산 없이 부분 집합 크기를 적응적으로 결정할 수 있습니다.

대규모 RouterEval 벤치마크 실험 결과는 FlexRouter가 강력한 기준 모델보다 인-도메인 및 아웃-오브-도메인 작업 모두에서 더 높은 커버리지를 더 낮은 중복성으로 달성하면서 유연한 추론 비용을 유지함을 입증합니다.

거대 언어 모델(LLM)이 특정 도메인 지식을 통합하여 성능을 향상시키기 위해 사용하는 외부 산출물인 스킬에 대한 새로운 프레임워크인 Prompt2Skill이 제시되었습니다. 기존의 전문가가 작성한 스킬은 제작 비용이 높고 특정 모델에 최적화되어 있지 않아 버전, 규모, 훈련에 따라 실패 모드가 달라질 수 있다는 한계가 있습니다. 또한 새로운 작업이 기존 스킬 라이브러리 범위를 벗어날 경우, 관련 훈련 데이터가 확보되기 전에 새로운 스킬을 개발해야 하는 필요성이 발생합니다.

Prompt2Skill은 이러한 한계를 극복하기 위해 자연어 작업 설명만으로 스킬을 구축하는 프레임워크입니다. 이 시스템은 프롬프트로부터 작업 사양을 도출하고 데이터셋을 발견하거나 합성하며, 반성적 편집의 폐쇄 루프를 통해 스킬을 정제합니다. 이는 자동화된 스킬 최적화를 가능하게 하여, 사용자가 반드시 보유하지 않을 수 있는 정제된 분포 훈련 세트 없이도 스킬을 구축할 수 있게 합니다.

연구진은 이 프레임워크를 질문 답변, 독해 이해, 스프레드시트 조작, 수학적 추론이라는 네 가지 영역에서 테스트했습니다. 그 결과 Prompt2Skill은 직접 프롬프팅 기준선보다 일관되게 우수한 성능을 보였으며, 오픈 소스 및 최첨단 모델 전반에서 평균 10.8%의 성능 향상을 달성했습니다. 이는 자연어 지시만으로도 LLM의 전문성을 효과적으로 향상시킬 수 있음을 보여주는 중요한 결과입니다.

멀티 보상 가이드 강화 학습(RL)은 양자 오디오-비디오 확산 모델의 품질, 상호 모달 의미 정렬, 시간 동기화와 같은 여러 목표를 개선하는 유망한 방법입니다. 그러나 이러한 방법의 효과는 학습 과정에서 변화하는 두 가지 요소, 즉 보상 기반 업데이트가 적용되어야 할 위치와 경쟁하는 보상들을 어떻게 결합할지에 달려 있습니다. 기존 방법들은 고정된 라우팅과 보상 가중치에 의존하여 모델의 변화하는 함수를 추적하지 못하는 한계를 가지고 있습니다.

이러한 한계를 해결하기 위해 우리는 양자 오디오-비디오 확산 모델의 순방향 과정 RL(DiffusionNFT) 동안 업데이트 위치와 보상 조정을 동시에 적응시키는 적응형 보상 라우팅(Adaptive Reward Routing)을 제안합니다. 이 방법은 두 가지 구성 요소로 이루어져 있습니다. 첫째는 교차 모달 영향 가이드 라우팅(Cross-Modal Influence-Guided Routing)으로, 양방향 교차 주의 응답을 활용하여 변화하는 교차 모달 영향을 효율적으로 추정하고 토큰 인식 손실과 그래디언트를 동적으로 재가중합니다.

둘째는 선호 보존 모달리티 인식 재가중(Preference-Preserving Modality-Aware Reweighting)으로, 사전 정의된 가중치를 선호 사전으로 보존하고 분기별 보상-그래디언트 상호작용을 잔차 보정으로 사용하여 갈등을 해결합니다. 이는 지배적인 보상이 약하지만 필수적인 목표를 억압하는 것을 방지합니다. 광범위한 실험 결과는 강력한 RL 기준선 모델 대비 모달리티 품질, 의미론적 일관성, 오디오-비디오 동기화에서 일관된 개선을 입증합니다.

에이전트 스킬 최적화에 관한 새로운 프레임워크인 검색 증강 스킬 최적화(Retrieval-Augmented Skill Optimization, RASO)가 기존 방법론보다 우수한 성능을 보였습니다. 이 연구는 에이전트가 특정 하네스(harness) 내에서 작업을 효과적으로 수행하도록 안내하는 재사용 가능한 자연어 산출물인 에이전트 스킬을 다루고 있습니다. 현재 공개된 수백만 개의 스킬에도 불구하고, 기존의 스킬 최적화 방법들은 목표 작업에 맞게 스킬을 반복적으로 개선하기 위해 비싼 에이전트 실행(agent rollouts)에만 의존하여 축적된 지식을 간과하는 한계가 있었습니다.

RASO는 이러한 문제를 해결하기 위해 외부 스킬 코퍼스를 사전 지식으로 활용하는 프레임워크를 제안합니다. 이 방법은 기존 스킬들로부터 관련 지식을 검색하고, 도메인과 하네스 간의 불일치를 고려하여 교차 하네스 적응(Cross-Harness Adaptation)을 통해 목표 작업에 맞게 지식을 조정합니다. RASO는 두 가지 보완적인 단계로 구성되는데, 검색 증강 스킬 초기화(RASI)는 에이전트 실행 없이 지식에 기반한 초기 스킬을 구성하며, 검색 증강 스킬 업데이트(RASU)는 실행 피드백을 통해 외부 지식을 검색하여 스킬을 반복적으로 개선합니다.

다양한 에이전트 벤치마크와 두 가지 모델에 걸친 광범위한 실험 결과, RASO는 검색 증강 스킬 초기화 및 업데이트가 없는 기준선 방법들보다 일관되게 더 나은 성능을 입증했습니다. 이는 에이전트 스킬 최적화 과정에서 외부 지식을 활용함으로써 비효율적인 실행 반복 없이도 고품질의 스킬을 효율적으로 구축할 수 있음을 보여줍니다.

과학 코딩 에이전트가 수정한 프로그램을 평가할 때 텍스트 기반 지침과 준비된 실행 가능한 검사(executable checks)를 사용하는 방식의 성능을 비교한 연구 결과가 발표되었습니다. Rules to Tools(R2T)는 공개된 과학적 요구 사항에 대한 준비된 실행 가능한 검사를 제공하며, 이는 LLM 에이전트의 수정 및 복구 작업에 적용되었습니다.

두 가지 작업 ID 코호트 전반에 걸쳐 완전한 복구율은 텍스트 기반 방식에서 26/30이었고, 준비된 검사를 사용한 방식에서는 29/30으로 나타났습니다. 이 결과는 도구 사용 여부에 따라 작업 선호도가 달라지며, 세 개의 작업 ID가 도구를 선호하고 하나가 텍스트를 선호했으며 나머지 열한 개는 동률을 보였습니다.

특히, 도구 그룹은 작업 17, 77, 11을 선호했으며, 초기 검사는 작업 17에서 위반 사항을 표시했지만 작업 77과 11에서는 위반 사항이 없음을 보고했습니다. 또한, PDE 비교에서는 텍스트 기반 방식이 23/24점을 얻은 반면, 검사 기반 방식은 24/24점을 얻었으며, 검사 방식이 보고된 모델 출력에서 31.2% 낮은 결과를 보였습니다.

이러한 결과는 작업별 복구 결과와 에이전트 측 비용을 준비된 검사를 통해 측정하며, 작업에 따라 결과가 달라지고 공개 CPU 사용량은 두 코호트 모두에서 증가하는 것으로 나타났습니다.

연구 에이전트가 계획한 실험을 설명할 때 예측 신뢰도에 기여하는 정도를 측정하는 연구 결과가 발표되었습니다. 이 연구는 설명, 일치된 설명, 기여자 맥락을 변화시키면서 예측 신뢰도(predictive credit)를 측정하며, 이 과정에서 약속 이행, 전달, 예측 이득, 정렬, 알려진 신호 흡수 등 다섯 가지 점검 항목을 사용했습니다.

336개의 잠재 상태, 12개의 Tox21 종점, 24개의 OpenML 작업에 걸쳐 v5 모델의 고정된 신뢰도 결정은 명확하지 않은 결과로 나타났습니다. 특히 Tox21의 사전 등록된 ROC AUC 구간 점수 위험 테스트는 충족되지 않았으며, OpenML의 공동 형성, 점 등가성, 반복성 규칙도 충족되지 않았습니다.

그러나 특정 개입을 통해 개선 효과가 확인되었습니다. DeepSeek V4 Pro를 사용할 때 일치된 카드와 기여자 카드는 이차적인 Tox21 드리프트를 각각 64.5%와 59.1% 감소시켰습니다. 또한, DeepSeek V4 Flash 재생은 일치된 점 정확도 평균 오차(MAE)를 0.01823에서 0.02020으로 증가시키고 일치된 기여자 구간 점수 동등성을 놓쳤습니다.

연구 에이전트 벤치마크 및 과학적 예측에 대한 예측 신뢰도를 측정하는 이 프로토콜은 자연스러운 설명에 대한 신뢰도는 테스트된 기여자 해상도에서 여전히 확인되지 않았음을 시사합니다. 이는 과학적 설명이 실험 예측에 기여하는 정도를 정량화하는 데 있어 추가적인 검증이 필요함을 의미합니다.

통합 멀티모달 모델(UMM)은 이해와 생성을 위해 별도의 시각 표현을 사용하는 경우가 많아 시각적 컨텍스트 길이를 늘리고 기존의 비전-언어 사전 학습 파이프라인과의 통합을 복잡하게 만듭니다. 최근 픽셀 공간 모델링의 발전은 인코더가 없는 대안을 제공하지만, 이 패러다임을 이미지에서 비디오로 확장하는 것은 까다롭습니다. 비디오 이해와 생성은 서로 다른 시간적 표현을 채택하기 때문에 통합된 시각 인터페이스 설계가 중요한 과제로 남아있습니다.

이에 연구진은 픽셀 공간에서 통합된 이미지 및 비디오 이해와 생성을 위한 인코더가 없는 모델인 PixelUMM을 제안합니다. PixelUMM은 이미지를 공간 패치로, 비디오를 시공간 튜브릿으로 표현하며, 단일 레이어 선형 투영을 통해 원시 픽셀을 공유 멀티모달 백본에 연결합니다. 이 모델은 Mixture-of-Transformers 구조를 사용하여 공유 어텐션과 작업별 파라미터를 결합하며, 깨끗한 픽셀 예측을 비디오 생성으로 확장하고 자기회귀 텍스트 예측 및 픽셀 공간 흐름 매칭을 공동으로 지원합니다.

실험 결과 PixelUMM은 이미지 및 비디오 이해와 생성 작업 전반에서 경쟁력 있는 성능을 달성했습니다. 또한 연구진은 디코더 설계 및 공간-시간 패치 크기와 같은 주요 설계 선택지에 대한 실증적 연구를 수행하여 향후 픽셀 공간 통합 멀티모달 모델을 위한 통찰력을 제공합니다. 이는 개발자들이 픽셀 공간 기반의 통합 모델을 구축할 때 중요한 설계 고려 사항을 제시합니다.

자기회귀 기반의 의미론적 모델을 사용하는 TTS 시스템은 강력한 제로샷 음성 복제 성능과 풍부한 표현 변이를 보여주지만, 순차적 디코딩으로 인해 상당한 지연 시간이 발생합니다. 반면, 비자기회귀 대안들은 훨씬 빠른 생성을 제공하지만, 추론 시 참조 음성의 스크립트를 요구하는 등 조건 설정이 더 제한적이라는 단점이 있습니다.

본 논문은 IndexTTS2에서 정제된 효율적인 스크립트 없는 제로샷 음성 복제 시스템인 Tacit-TTS를 제시합니다. 이 모델은 자기회귀 텍스트-의미 디코딩을 마스킹된 비자기회귀 생성으로 대체하고, 학습 불필요한 음향 길이 추정 기능을 도입하며, ReFlow 증류를 통해 플로우 매칭 렌더러를 가속시킵니다.

Tacit-TTS는 두 개의 영어 및 두 개의 중국어 데이터셋에서 경쟁력 있는 제로샷 품질을 달성하면서, 5초 이상의 발화에 대해 IndexTTS2보다 10배 더 빠르게 음성을 생성합니다. 특히 이 모델은 스크립트 없이 조건화할 수 있어 다국어 및 비어휘적 참조를 지원합니다.

이러한 능력은 8개 다른 언어의 참조, 영아 옹알이, 합성 잡음 등 스크립트 의존적인 시스템이 ASR 스크립트의 신뢰성 문제로 인해 성능이 저하되거나 실패하는 환경에서 검증되었습니다.

에이전트 시스템에서 하네스(harness) 설계는 장기 성능에 큰 영향을 미치지만, 이를 탐색하는 조합 공간은 방대하여 모델 변화에 따라 반복적인 인간의 노력이 필요합니다. 기존의 자동화 방법들은 프롬프트나 스킬 같은 구성 요소만을 최적화하거나 고정된 탐색 전략에 갇히는 한계를 보였습니다.

본 논문은 이러한 문제를 해결하기 위해 에이전트 하네스와 이를 발견하는 전략을 공동으로 진화시키는 프레임워크인 MILO(Meta-evolutionary Island Orchestration)를 소개합니다. MILO는 섬 기반 트리에서 거부된 변이를 부정적 증거로 활용하는 계층적 계보 기억, 전체 하네스를 재작성하는 섬별 변이 에이전트, 그리고 계보 접목 및 분화 등을 통해 탐색을 조정하는 오케스트레이터로 구성됩니다.

MILO는 Terminal-Bench 2.1, PaperBench, DeepSWE에서 8개의 최첨단 하네스와 6가지 탐색 방법을 능가하는 하네스를 발견했습니다. 특히 Opus 4.8 모델을 사용했을 때, MILO는 초기 하네스 대비 각각 12.0%, 28.3%, 10.3%의 성능 향상을 달성했습니다. Terminal-Bench 2.1에서는 공식 리더보드 최고 기록(83.8 pm 2.3%)을 넘어 86.1 pm 2.0%를 달성했으며, 초기 하네스보다 토큰 사용량을 26% 절감했습니다.

또한 EinsteinArena의 열린 문제들에서도 에르도스 최소 중첩 및 첫 번째, 세 번째 자기상관 부등식에 대한 알려진 상한선을 개선했습니다. 이는 MILO가 단순히 성능을 개선하는 것을 넘어, 복잡한 에이전트 시스템의 하네스 발견 전략 자체를 혁신적으로 발전시켰음을 의미합니다.

근육 구동 에이전트가 복잡한 인간 움직임을 재현할 수 있게 되었지만, 이러한 능력은 대부분 평평한 지면에 국한되어 있습니다. 이는 움직임 데이터셋에 정렬된 지형 기하학이 부족하고, 복잡한 근골격계 신체에 지형 상호작용을 재타겟팅하는 것이 어렵기 때문입니다. 이에 본 연구는 근골격계 보행의 지형 인식 재타겟팅 및 제어를 위한 종단 간 파이프라인인 TERRA를 제시합니다.

TERRA는 운동학적 궤적만으로 지형 선험 정보, 추정된 접촉점, 그리고 음의 자유 공간 증거를 결합하여 작업 관련 지지 기하학을 복구합니다. 또한 재타겟팅 과정에서 해부학적 제약, 힘줄 연속성, 접촉 제약을 추가로 고려합니다. 다섯 가지 데이터셋에서 얻은 결과로, TERRA는 9.4시간의 다양한 보행 데이터를 사용하여 단일 근육 구동 제어 정책을 성공적으로 훈련했습니다.

재구성, 재타겟팅, 추적 벤치마크 전반에서 TERRA는 지형 정확도를 향상시키고 해부학적 및 상호작용 위반을 크게 줄였습니다. 특히 지원되는 지형 계열에서 가장 높은 완료율을 달성하며, 장면 없는 움직임 데이터로부터 다양한 비평면 지형에서의 근육 구동 보행으로 나아가는 실용적인 경로를 제공합니다.

LLM 에이전트가 장기적이고 복잡한 작업을 수행하도록 전문 지식과 안내를 제공하는 데 있어 스킬(skills)의 활용 방안이 주목받고 있습니다. 그러나 최근 에이전트 패러다임에서 스킬이 널리 채택되었음에도 불구하고, 신뢰할 수 있는 훈련 데이터를 합성하는 방법과 에이전트를 스킬 사용을 위해 훈련시키는 방법에 대해서는 여전히 충분히 탐구되지 않았습니다.

이 연구는 이러한 문제를 해결하기 위해 SkillGym을 제안하는데, 이는 검증 가능한 환경을 구축하고 궤적을 수집하며 스킬 사용 에이전트를 훈련시키는 자동화된 파이프라인입니다. SkillGym은 인터넷에서 방대한 양의 스킬을 수집한 다음, 오프라인에서 재현 가능하게 실행될 수 있는 워크플로우를 가진 스킬만 보존합니다. 이후 빌더-리뷰어 파이프라인을 사용하여 난이도 조절된 작업을 구성하며, 각 작업은 참조 솔루션과 실행 가능한 검증기를 갖추고 있습니다.

이 파이프라인을 통해 6,800개의 환경과 19,000개의 검증된 성공적인 궤적을 수집하여 지도 미세 조정을 위한 데이터를 구축했습니다. 이러한 궤적을 이용한 미세 조정을 통해 20억에서 122조 매개변수를 가진 다양한 크기의 LLM에 걸쳐 네 가지 스킬 사용 벤치마크에서 성능이 향상되었습니다. 특히 Qwen3.5-9B SFT 모델은 3970억 매개변수의 훈련되지 않은 모델보다 두 벤치마크에서 더 나은 성능을 보였습니다.

추가 분석 결과, 훈련은 에이전트가 스킬을 호출하도록 학습시켜 관련 스킬을 읽는 비율을 28%에서 96%로 높이는 것으로 나타났습니다. 이러한 성능 향상은 추론 구조 전반에 걸쳐 유지되며, 훈련 데이터의 소수 항목을 구성하는 작업 유형이나 훈련에서 제외된 스킬에도 적용되는 것으로 밝혀졌습니다.

비전-언어 모델(VLM)이 인간 주석가 대신 사용됨에 따라, 대체 가능성 테스트는 부수적인 평가 조건이 아닌 모델 자체를 반영해야 한다는 점이 중요해지고 있습니다. 이를 위해 연구진은 MIST, 즉 오도하는 이미지 스트레스 테스트를 도입했습니다. 이 테스트는 각 문장이 비유적이거나 문자 그대로 읽을 수 있는 구절을 중심으로 구성되며, 이에 대해 정렬된 이미지, 반대 의미를 나타내는 오도하는 이미지, 또는 이미지가 없는 세 가지 조건으로 제시됩니다.

MIST 가이드라인은 레이블이 문장 자체만으로 결정되어야 하므로 이미지에 관계없이 답변이 바뀌지 않아야 합니다. 연구진은 각 이미지가 판단자의 레이블을 해당 이미지가 나타내는 의미 쪽으로 이끌 것이라고 예상했지만, 실제 실험 결과는 다소 달랐습니다. 13명의 VLM 판단자들을 대상으로 실험했을 때, 정렬된 이미지는 레이블의 20.5%를 변경시켰고, 오도하는 이미지는 19.4%를 변경시켰습니다. 이는 이미지를 제외하는 지시문을 삭제했을 때 발생한 11.6%보다 높은 수치입니다.

하지만 두 이미지 사이에서 차이가 발생한 레이블 중 실제로 나타난 의미로 이동한 것은 37%에 불과하며, 인간 주석가와의 일치도는 이미지가 없거나 정렬되었거나 오도되었을 때 모두 동일하게 유지되었습니다. 이 결과는 판단자가 어떤 이미가 제시되었는지보다는 이미지가 존재한다는 사실 자체에 의해 영향을 받는다는 것을 보여줍니다. 따라서 대체 가능성 판정은 특정 구성(configuration)을 모델만큼이나 설명하는 방식으로 이루어져야 합니다.