읽을 가치가 있는 기사만, 짧고 또렷하게.

기존의 자동 연구 벤치마크는 훈련 프레임워크, 하이퍼파라미터, 컴퓨팅 예산, 데이터 등 여러 개선 요소를 얽혀 있어 특정 선도 에이전트의 성능이 특정 연구 능력에 기인하는지 판단하기 어렵습니다. 이 연구는 모델 능력을 형성하는 데이터를 이해하고, 조작하며, 개선하는 에이전트의 능력인 데이터 지능(Data Intelligence)을 분리하여 체계적으로 평가합니다.

이를 위해 연구진은 데이터 진단, 데이터 조직화, 데이터 구성이라는 데이터 지능의 개념적 틀을 기반으로 구축된 통제된 테스트베드인 AutoDataBench를 소개합니다. 이 테스트베드는 비데이터 요소를 고정시킨 채 세 가지 엄선된 최적화 작업을 통해 구현되었으며, 도구 사용, 검색, 지식 주입을 통해 선도 LLM이 작업별 자원 예산 내에서 반복적인 실험을 통해 훈련 데이터를 개선하는 능력을 평가합니다.

연구는 LLM이 데이터 개입이 모델 성능에 미치는 영향을 이해하는지 여부를 탐구하며, 시행착오를 넘어 데이터 효과 추론에 대한 증거를 찾고 반복적인 피드백이 LLM이 훈련 데이터 변화가 모델 성능에 미치는 영향을 더 잘 이해하는 데 도움이 되는지 조사합니다. 최종적으로 AutoDataBench 궤적을 훈련 중간 단계에서 재사용하여 다운스트림 코딩 성능을 개선할 수 있음을 보여주며, 이는 데이터 지능 평가와 고품질 훈련 데이터 생성 모두에서 이 테스트베드의 가치를 강조합니다.

AutoDataBench의 코드와 리소스는 https://github.com/AutoDataBench/AutoDataBench에서 확인할 수 있습니다.

작업 에이전트 훈련에는 다양한 파일 읽기, 도구 조정, 결과 산출이 필요하지만, 검증 가능한 결과를 가진 많은 실제 파일에 기반한 과제를 구축하는 파이프라인이 부족합니다. 기존 파이프라인들은 모델로 파일을 생성하여 현실성과 다양성이 부족하거나, 특정 과제 검증자 없이 실제 파일에 기반하여 결과 품질을 확인하지 못하는 한계를 가지고 있습니다.

이에 연구진은 실제 파일에 기반하여 과제와 검증을 근거화하는 증거 그래프 기반 프레임워크인 GraphForge를 소개합니다. 이 프레임워크는 점유 기반 시드(occupation-grounded seeds)에서 시작하여 각 시드에 대한 실제 파일 작업 공간을 구성하고 그 관계에 대한 증거 그래프를 구축합니다. 이 그래프에서 과제 설명과 평가 기준(rubrics)을 도출함으로써, 과제 요구 사항이 작업 공간 파일에 의해 뒷받침되고 각 기준이 검증에 필요한 파일에 고정되도록 합니다.

초기 테스트에서는 실행 가능성을 추가로 검증하고 수정 에이전트가 궤적을 수집하기 전에 과제와 평가 기준을 원본 파일에 대해 수정하는 과정을 거칩니다. 이 방법으로 2,169개의 GraphForge 궤적을 사용하여 Qwen3.6-27B 모델을 미세 조정했을 때, OpenHands 환경에서 GDPVal 점수가 1445.7점(+65.7)으로, Workspace-Bench-Lite와 SpreadsheetBench II에서 각각 63.7점(+7.7)과 24.0점(+13.7)의 향상을 보였습니다.

특히 증거 기반 평가 기준을 사용하여 후보를 선택하는 거부 미세 조정(Rejection fine-tuning)을 수행했을 때 세 가지 벤치마크 모두에서 추가적인 개선이 이루어졌는데, 이는 평가 기준이 유용한 선택 신호(selection signal)를 제공함을 시사합니다. 이 연구는 작업 에이전트 훈련에 실제 데이터를 활용하여 검증 가능한 기반을 제공하는 방법론의 가능성을 제시합니다.

자기회귀 모델은 시스템의 행동을 한 단계씩 예측하도록 학습되며, 재귀적 생성은 학습된 역학을 장기간에 걸쳐 전개할 수 있게 합니다. 본 연구는 이러한 국소적 관찰로부터 학습된 역학이 훈련 중에 부분적으로만 관찰된 시스템의 더 넓은 조직을 얼마나 복원할 수 있는지 탐구합니다.

연구진은 로지스틱 맵, 사인 맵, 로렌츠 시스템, 일반화된 호프 시스템 등 여러 비선형 동역학 시스템에서 샘플링된 궤적을 사용하여 처음부터 작은 자기회귀 트랜스포머를 훈련시켰습니다. 이때 제어 매개변수와 상태 궤적은 연속 토큰 시퀀스로 표현되었습니다. 훈련 분포를 훨씬 벗어난 매개변수에서 폐쇄 루프 평가를 수행했을 때, 모델은 자기 유사 주기 이중화 캐스케이드, 혼돈 역학, 그리고 끌개 구조를 놀라운 시각적 및 수치적 충실도로 복원할 수 있었습니다.

특히 로지스틱 맵의 경우, 트랜스포머는 주기 128까지의 연속적인 주기 이중화를 재현하며 페이겐바움 상수와 $5 \times 10^{-4}$ 이내로 일치시켰습니다. 연구는 이러한 구조가 훈련 과정에서 어떻게 나타나는지 조사하고, 인과적 개입을 통해 제어 매개변수 정보가 어텐션을 통해 상태 예측으로 처리되어 폐쇄 루프 역학을 형성하는 방식을 밝혀냈습니다.

이 결과는 자기회귀 트랜스포머가 시스템의 보이지 않는 전역 동역학 조직으로 일반화하기 위해 시스템의 국소적 행동에 대한 놀랍도록 좁은 창만으로도 충분할 수 있음을 시사합니다.

LLM 심판을 자연어 피드백으로 훈련하는 방법을 연구하며, 특히 평가 기준의 선택과 가중치에 따라 결과가 달라지는 주관적인 작업에 초점을 맞췄습니다. 기존의 지배적인 접근 방식인 결과 기반 강화 학습(outcome-supervised RL, 예: GRPO)은 최종 판정의 정확도에만 보상을 제공하여 선호도 레이블에 자연스럽게 수반되는 풍부한 언어 피드백(선호 이유 등)을 무시한다는 한계가 있습니다.

이러한 언어 피드백을 활용하는 방법 중 하나인 자기 증류(Self-Distillation, SD)는 동일 모델이 교사 역할을 하여 위치별 지도(position-level supervision)를 제공합니다. 하지만 모든 위치가 동일한 신호를 가지는 것은 아니며, 교사와 학생 간의 위치별 엔트로피 변화를 분석하여 두 가지 영역, 즉 컨텍스트 샤프닝과 컨텍스트 스프레딩을 식별했습니다. 컨텍스트 샤프닝은 특정 기준 표현에 확률을 집중시켜 암기를 유도하는 반면, 컨텍스트 스프레딩은 여러 대안에 걸쳐 확률을 분산시켜 의미론적 이해를 촉진합니다.

이러한 비대칭성을 바탕으로 엔트로피 변화를 기반으로 위치 마스킹을 도입하여 엔트로피 변화 분포의 하위 꼬리를 유지하는 방식으로 고엔트로피 위치를 마스킹했습니다. 실험 결과, 고엔트로피 위치를 마스킹하는 것이 단순한 SD보다 분포 외 일반화(out-of-distribution generalization)를 개선하는 것으로 나타났습니다. 결과적으로 자기 증류된 심판 모델은 결과 기반 강화 학습으로 훈련된 심판보다 평가된 주관적 하위 범주에서 2~9퍼센트 포인트 더 높은 성능을 보였으며, 객관적인 작업에서는 경쟁력도 유지했습니다.

심층 연구 작업에서 에이전트는 방대한 지식 공간을 탐색하고 여러 소스에서 증거를 종합하며 발견되는 결과에 따라 계획을 조정해야 합니다. 기존의 DAG 기반 에이전트는 실행 전에 전체 계획을 수립하고 실패나 증거 부족이 관찰된 후에만 그래프를 수정하는 Plan-then-Patch 전략을 사용하는데, 이는 증거가 가장 약할 때 시스템이 가장 강하게 확신하는 모순을 발생시키며 계산 자원을 낭비하게 만듭니다.

이에 연구진은 평가 후 성장(Evaluate-then-Grow)이라는 점진적 계획 프레임워크를 도입한 DAGent를 제안합니다. DAGent는 오케스트레이터가 완료된 노드로부터 얻은 신뢰도와 불확실성 신호를 기반으로 한 번에 한 배치씩 작업 그래프를 확장하며 계획을 수립합니다. 이 프레임워크는 완성된 실행 경로를 보존하면서도 QueryDocs를 전파하는 계층적 컨텍스트 레이어를 통해 효율적인 정보 처리를 가능하게 합니다.

DAGent는 DAGRPO라는 GRPO 변형을 통해 구조적 준수 보정 및 토폴로지 기반 신용을 주입하여 구조적 RL 신호를 포착합니다. 이 방법은 BrowseComp-Plus, GAIA, xbench-DeepSearch 등 여러 벤치마크에서 가장 강력한 오픈소스 기준 모델을 능가하는 성능을 보였습니다. 특히 Qwen3-235B-A22B 스케일에서는 5.3/5.8/2.0 포인트의 우위를 보였으며, 이는 GPT-5 327K 컨텍스트 확장에도 적용됩니다.

또한, 동일한 아키텍처 비교에서 증거 기반 계획은 Plan-then-Patch 방식보다 각 작업당 토큰, 도구 호출, 단계의 발자국을 더 적게 사용하면서도 더 높은 정확도를 달성했습니다. Qwen3-8B 스케일에서는 DAGRPO가 동일 예산의 결과 전용 GRPO 기준선보다 평균 3.0 Pass@1 포인트를 개선하는 것으로 나타났습니다.

장기간의 자기중심적 비디오 기록은 개인화된 AI 비서가 일상생활에 대해 추론할 수 있게 하지만, 수개월에서 수년에 걸친 수백 시간의 비디오 기록을 모든 질의에 대해 재처리하는 것은 계산적으로 매우 부담스럽습니다. 비디오를 텍스트 표현으로 압축하는 메모리 시스템이 대안을 제공하지만, 실제 벤치마크에서 종종 실패하는데, 이는 메모리가 핵심 증거를 보존하지 못하거나 검색 공간이 커짐에 따라 검색 경쟁으로 인해 관련 항목을 찾지 못하는 경우입니다.

이러한 문제를 해결하기 위해 본 연구에서는 엔티티 기반의 1인칭 텍스트 에피소드를 구성하고 시간 인덱싱된 에이전트 리더를 통해 이를 검색하는 멀티모달 메모리 시스템인 MemLife를 소개합니다. MemLife는 훈련이나 질의 시점의 비디오 접근 없이도 가장 강력한 훈련 없는 기준선 대비 네 가지 장기 벤치마크에서 4.6%에서 12.0%의 성능 향상을 보였습니다.

또한 메모리 품질을 더욱 개선하기 위해 MemLife의 메모 라이터를 최적화하는 강화 학습 프레임워크인 MemOpt를 제안합니다. MemOpt는 메모 라이터가 충실하고, 유익하며, 검색 가능한 메모를 생성하도록 최적화하며, 다양한 비디오 및 질문 분포에서 MemLife를 2.7%에서 5.0%까지 일관되게 개선합니다. 이러한 개선 효과는 메모리 시스템과 라이터, 리더의 백본에 걸쳐 일반화됩니다.

장기 기억으로 사용되는 음성 전사본은 단어뿐만 아니라 안정적인 화자 정체성을 보존해야 합니다. 현재의 회의 전사 측정 지표들은 화자를 무시하거나 각 녹음에서 독립적으로 익명 화자를 재매핑하기 때문에, 동일한 사람이 여러 회의에 걸쳐 동일한 정체성을 유지하는지 측정할 수 없습니다.

본 연구에서는 이러한 지속적인 화자 귀속을 평가하기 위해 화자 식별 cpWER(Speaker Identified cpWER)을 도입하여 하나의 전역 화자 ID 할당 하에 코퍼스를 평가합니다. 이 벤치마크는 다섯 가지 상업적 분리-식별(diarize-then-identify) 캐스케이드, 두 가지 학술 기준선, 그리고 ThyVoice 시스템을 CHiME-8 NOTSOFAR 및 CHiME-6 평가 세트(클린 및 노이즈 증강 형태) 전체에 걸쳐 적용했습니다.

ThyVoice는 오버랩을 수정하고 음성 프린트를 생성 및 업데이트에 사용되는 증거를 제어하는 종단 간 참조 시스템입니다. 지속적인 정체성을 요구하는 것은 상업적 순위에 영향을 미치는데, ThyVoice는 평가된 모든 상업적 캐스케이드보다 낮은 SI-cpWER을 기록했으며, 다음 시스템(54.75)과 비교하여 47.13으로 가장 낮은 평균값을 보였습니다.

이러한 결과는 최종 귀속된 기록에서 상위 오류 표면을 특징짓는 어휘, 분리, 녹음별 귀속, 화자 클러스터링 진단 등을 보여줍니다. 따라서 대화가 시간 경과에 따라 재사용되는 시스템에서는 지속적인 귀속을 직접 평가해야 함을 시사합니다.

대규모 비전-언어 모델(LVLM)이 공간 추론을 수행할 때 흔히 사용하는 체인-오브-사고(CoT) 방식은 각 단계에서 단일 토큰을 선택해야 하므로 공간 해석이 불확실할 때도 확정적인 결정을 요구합니다. 이러한 조기 확정은 오류가 후속 추론 과정으로 전파될 수 있는 조기 이산화(premature discretization)를 초래합니다.

이에 연구진은 LVLM의 공간 작업에 소프트 사고를 도입하는 후처리 프레임워크인 소프트 공간 추론(Soft Spatial Reasoning)을 제안합니다. 이 방법은 중간 추론 단계에서 단일 토큰을 선택하는 대신 토큰 임베딩을 혼합하여 연속적인 소프트 상태를 형성함으로써 여러 후보 연속이 다음 단계에 영향을 미치도록 허용합니다.

소프트 공간 추론의 핵심에는 AdaptSoft라는 제어기가 있으며, 이는 현재 은닉 상태와 예측 불확실성을 사용하여 각 추론 단계에서 소프트 정도를 조정합니다. AdaptSoft를 훈련하기 위해 중간 추론 감독 없이 소프트니스 제어를 위한 단계별 학습 신호를 제공하는 기울기 정렬 학습 목표가 도입되었습니다.

다양한 공간 벤치마크에서 소프트 공간 추론은 동일한 백본과 기존 LVLM들에서 하드 및 고정 소프트 CoT 기준선보다 우수한 성능을 보였습니다. 이 연구는 공간 추론에서 불확실성을 다루는 새로운 접근 방식을 제시하며, 관련 소스 코드는 GitHub에서 공개되어 있습니다.

대규모 시각-언어 모델(LVLM)은 시각적 인식에는 뛰어난 발전을 이루었으나, 시각적 공간 추론에서는 여전히 약점을 보입니다. 최근 공간 추론 방법들은 추론 과정에서 객체에 대한 경계 상자나 마스크와 같은 생성된 그라운딩(grounding)을 통합하지만, 이는 최종 답변의 정확도만을 최적화하는 데 중점을 두어 모델이 자신감 있게 위치를 파악한 객체로부터 추론하도록 유도하지는 못합니다.

SpatialCORE는 이러한 한계를 극복하기 위해 모델이 생성한 그라운딩에 대한 자신감을 공간 추론을 위한 학습 신호로 전환하는 후처리 프레임워크입니다. 이 방법은 정확성과 자신감을 모두 갖춘 그라운딩을 강화하여 모델이 자신감 있게 위치가 파악된 객체로부터 추론하도록 장려하는 것을 목표로 합니다.

SpatialCORE는 각 예측된 경계 상자의 일치 품질을 해당 좌표 토큰의 자신감도로 가중하는 자체 조절형 공간 보상을 통해 이를 실현합니다. 또한 답변 게이트를 통해 그라운딩 최적화를 최종 답변의 정확도와 연결합니다.

이러한 접근 방식을 통해 SpatialCORE는 다양한 벤치마크에서 오픈 소스 및 전문 공간 추론 모델 중 최고 수준의 결과를 달성하며, 보지 못한 데이터 분포에 대해 제로샷 설정에서 효과적으로 전이될 수 있습니다. 관련 소스 코드는 GitHub에서 공개되어 있습니다.

웹 텍스트가 사전 학습 데이터의 대부분을 차지하고 있으며 인공지능에 의해 생성되는 비율이 증가하고 있습니다. 2026년 6월 웹 데이터에서 품질 필터링을 적용한 결과, 토큰 중 27.5%가 AI 생성으로 분류되었으며, 이는 8월에는 31.1%로 증가했습니다. 이러한 야생 AI 텍스트는 합성 데이터와 달리 여러 모델에서 비롯되었고 인간 독자를 위해 작성되었으며 사전 학습 데이터에 레이블 없이 포함되어 있다는 특징이 있습니다.

이러한 야생 AI 텍스트가 언어 모델 사전 학습에 미치는 영향을 분석하기 위해 800개의 언어 모델을 사전 학습시키고 AI 토큰과 인간 토큰의 비율을 변화시키며 홀드아웃 손실에 대한 스케일링 법칙을 도출했습니다. 데이터가 부족한 모델의 경우, 사전 학습 데이터에 AI 토큰을 추가하면 인간 텍스트에 대한 손실은 일시적으로 감소하지만, 추가가 진행될수록 이 이점은 포화되고 빠르게 해로운 방향으로 역전됩니다. 반면, 인간 텍스트가 풍부하게 학습된 모델의 경우 AI 토큰은 즉시 손실을 증가시키지만, 동일한 수의 새로운 인간 토큰은 손실을 계속 낮추는 것으로 나타났습니다.

기존의 스케일링 법칙은 이러한 현상을 예측하지 못하며, 연구진은 AI 토큰의 가치에 부호가 변할 수 있고 AI 텍스트가 없을 때는 친칠라(Chinchilla) 수준으로 감소하는 새로운 스케일링 법칙을 제안했습니다. 이 새로운 법칙은 AI 텍스트가 홀드아웃 인간 텍스트 손실에 미치는 영향을 예측하며, 기존 법칙보다 모든 AI 비율에서 41% 낮은 오류로 최대 3.6배 더 큰 모델에 대해 효과를 예측합니다.

연구진은 AI 텍스트가 인간 텍스트를 대상으로 할 때는 필터링하고, 학습 데이터 확장을 위해 AI 생성 웹 텍스트를 추가하기 전에 인간 텍스트를 반복하고, 인간 텍스트와 AI 텍스트에 대한 검증 손실을 별도로 보고할 것을 권장합니다. 다만, AI 텍스트는 대상이 AI 텍스트일 때는 여전히 가치가 있다는 점을 유의해야 합니다.

강화 학습(RL) 후 훈련 과정에서 발생하는 길이 확장 현상을 완화하는 새로운 방법이 제안되었습니다. 현재 RL 후 훈련 시 길이 확장은 특히 어려운 문제에 대한 추론 능력 향상으로 간주되지만, 이미 해결된 문제에 대해서는 불필요하게 응답이 장황해지는 부작용을 초래합니다. 연구진은 이러한 현상을 길이 확장 세금(Length-Scaling Tax, LST)으로 정량화하며, 이는 정확도 향상 없이 이미 해결된 쿼리에 대한 과도한 응답 길이 증가를 의미합니다.

이러한 LST를 줄이기 위해 길이 자기 증류(Length Self-Distillation, LSD)라는 방법을 제안했습니다. LSD는 해결된 프롬프트를 온-폴리 증류(on-policy distillation)로 라우팅하고 해결되지 않은 프롬프트에 대해서는 원래의 RL 목표를 유지합니다. LSD는 외부 모델 없이 온라인 정책의 지수 이동 평균을 교사로 사용하여 작동하며, 여러 변형에서 RL과 동등하거나 더 나은 성능을 달성하면서 쉬운 쿼리에 대한 응답 길이 성장을 크게 억제합니다.

구체적인 실험 결과에 따르면 LSD는 단일 턴 추론에서 LST를 19.0%에서 -3.7%로, 다중 턴 에이전트 작업에서 31.4%에서 13.7%로 감소시켰습니다. 이는 LSD가 쉬운 쿼리에 대해서는 간결한 응답 패턴을 효과적으로 보존하면서도 RL 후 훈련 과정에서 어려운 쿼리에 대한 효율적인 탐색을 지원함을 입증합니다.

장시간 오디오-비디오 질문 응답(AVQA) 작업은 전체 녹화본을 인코딩하면 컨텍스트 한계가 빠르게 소진되고, 시간적 압축을 하면 미세한 음향 및 시각 증거가 희석되는 딜레마에 직면해 있습니다. 이에 연구진은 전체 녹화본을 하나의 컨텍스트에 두지 않고 자체 증거를 검색하는 프레임워크인 LEAP를 제안했습니다.

LEAP는 녹화를 고정된 길이의 블록으로 나누고 각 블록에 경량화된 위치 파악 과정을 적용하여 짧은 후보 창을 점수화합니다. 가장 높은 순위의 창들을 통합하고 단일 경계 내에서 재인코딩하여 최종 답변을 생성합니다. 이 접근 방식은 증거 위치 파악과 추론을 분리하여 미디어 프레임을 디코딩하지 않고도 사전 계산된 스크립트 위에서 후보 시간 창을 위치 파악할 수 있게 합니다.

LEAP는 최종 답변 패스를 원시 오디오-비디오 스트림 위로 라우팅하여 미세한 시각 및 비음성 증거를 보존하며, 위치 파악과 추론을 분리함으로써 효율성을 높입니다. 또한 LEAP는 위치 파악 LoRA와 답변 LoRA를 모두 훈련하여 성능을 개선했으며, 블록 그리드는 인과적 쿼리를 지원하여 스트리밍 추론을 스트리밍 특화 훈련 없이도 가능하게 합니다.

여러 AVQA 벤치마크에서 LEAP는 Qwen3-Omni-30B-A3B 기준 모델보다 4.5%에서 16.8% 향상되었으며, 두 번째 옴니모달 백본인 MiniCPM-o 4.5로 전환했을 때 발표된 결과보다 3.1%에서 13.0% 더 높은 성능을 보였습니다.

2026년 9월 기준으로 Rust 컴파일러 성능 개선 작업에서 놀라운 진전이 있었습니다. 지난 두 달간의 측정 결과에서 평균 벽 시간 감소율은 4.57%를 기록했으며, 629개의 벤치마크 중 555개가 개선되었고 74개만 후퇴하여 "녹색 바다"라는 표현이 사용될 정도로 대다수의 개선이 이루어졌습니다.

이러한 성능 향상은 새로운 기능 도입과 내부 최적화를 통해 달성되었습니다. 특히 새로운 소유권 검사기인 Polonius Alpha와 새로운 제네릭 솔버인 Penelope Hammertime가 Nightly 버전에서 활성화되면서 컴파일 시간에 긍정적인 영향을 미쳤습니다. Polonius Alpha는 liveness 계산을 개선하여 serde와 같은 인기 크레이트에서 명령어 수를 3~5% 줄였으며, Penelope Hammertime는 특정 크레이트에서 컴파일 시간을 최대 50%까지 줄이는 결과를 가져왔습니다.

또한, 데이터 흐름 분석 알고리즘을 변경하고 내부 데이터 구조를 최적화하는 작업도 병행되었습니다. 이로 인해 특정 크레이트의 체크 빌드에서 벽 시간이 약 30% 감소하는 등 상당한 효과를 보였습니다. 여러 성능 개선 PR들이 묶여서 병합되는 롤업(rollup) 방식도 사용되어 성능 개선 작업이 원활하게 진행될 수 있었습니다.

지속적인 공간 기억은 에이전트가 반복 방문 시 익숙한 환경을 탐색할 수 있게 하지만, 탐색 중이나 관찰되지 않는 동안 목표물이 움직일 수 있어 기억된 위치가 도착 시점에 신뢰하기 어려워집니다. 따라서 숨겨진 세계의 지속적인 변화와 제한된 시야 하에서 신념을 수정하는 문제를 해결하기 위해 이 연구는 변화하는 세계 내 항해(Evolving-World Navigation)를 다룹니다.

연구진은 관찰의 간헐적인 정보를 통해 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용하여 신념을 수정하는 방법을 제안합니다. 이를 위해 시간별 3D 객체 기록을 구조화된 지속성-이동 모델을 통해 구축하는 EvolvingNav를 제안했습니다. 이 신념은 마지막 관찰 위치에서의 지속성과 대안 위치로의 이동을 구별하며, 알려진 후보 집합 외의 확률 질량을 유지합니다.

EvolvingNav는 이벤트 기반 필터를 사용하여 현재 신념을 전파하고, 후보 검사 시점의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 통합합니다. 또한, 부정적인 관찰은 보정된 시야 조건에 따른 탐지 확률에 따라 위치 가설을 낮추고, 증거 추적은 동일한 관찰의 반복 사용을 방지합니다.

이 연구는 인간 활동 흔적에 기반한 54개의 장면과 803,680개의 작업을 포함하는 EvoWorld-Bench라는 벤치마크를 추가로 도입했습니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 기준선보다 항해 성공률과 탐색 효율성을 개선했습니다. 특히 학습 가능한 시간 패턴 하에서 가장 명확한 이득이 나타났으며, 불확실성을 보존하고 시야 인식 증거를 통합하는 것이 가치 있음을 입증했습니다.

다중 에이전트 시스템에서 잠재적 통신은 텍스트 기반 통신보다 토큰, 계산, 지연 오버헤드를 줄이기 위해 내부 표현 공간에서 정보를 직접 교환할 수 있게 합니다. 이를 위해 송신자의 표현을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입되었습니다.

연구 결과, 겉보기에 무해한 링크 학습조차도 기반 안전 정렬 에이전트가 변경되지 않았음에도 불구하고 텍스트 기반 통신에 비해 유해한 준수율을 증가시킬 수 있음을 보여줍니다. 공격자는 유해한 질의-응답 쌍에 링크를 최적화하거나 무해한 훈련 데이터를 오염시켜 이러한 효과를 증폭시킬 수 있습니다.

연구진은 유해한 목표 응답 없이도 유해한 준수율과 무해한 작업 성능을 동시에 보상하는 강화 학습 공격을 개발했습니다. 이 공격은 세 가지 통신 토폴로지와 네 가지 안전 벤치마크에서 평균 유해 준수 점수를 무해하게 훈련된 링크의 27.9점에서 76.9점으로 상승시켰습니다.

또한, 보상을 더 안전한 행동으로 조정하면 손상된 링크를 복구하여 에이전트를 업데이트하지 않고도 모든 평가된 공격에서 유해한 준수율을 크게 줄일 수 있습니다. 이는 안전 정렬이 다중 에이전트 시스템 전체를 고려해야 함을 시사합니다.

합성 비자연어 데이터에 대한 사전 사전 학습(PPT)은 언어 모델 사전 학습(PT) 과정에서 토큰 효율성을 개선합니다. 이전 연구들은 이러한 효율성 향상이 PPT를 통해 학습된 문법적 선험(grammatical prior), 즉 자연어 문법으로 전달되는 구조적 귀납 편향 덕분이라고 주장했습니다. 하지만 이러한 연구들은 최대 10억 개의 매개변수를 가진 모델과 20억 토큰 미만의 PT 예산, 주로 웹 텍스트를 사용한 제한적인 범위에서만 테스트되었습니다.

이에 본 연구는 5가지 PPT 작업, 4가지 PT 데이터 혼합, 4가지 매개변수 규모(500M에서 7B), 그리고 최대 1000억 토큰의 PT 예산을 포괄하는 광범위한 연구를 제시합니다. 결과는 PPT의 다운스트림 성능 및 토큰 효율성 이득이 규모에 관계없이 지속됨을 보여주며, 예를 들어 30억 규모에서 최소 210억 PT 토큰을 절약할 수 있음을 입증합니다.

그러나 이전 연구와는 달리 이러한 이득이 문법적 선험에서 비롯된다는 일관된 증거는 발견되지 않았습니다. 모델 크기에 관계없이 다운스트림 성능은 문법적 수용 가능성과 일치하지 않으며, 대신 PPT 작업이 장거리 검색(long-range retrieval)을 개선하는 데 기여한다는 사실이 밝혀졌습니다.

결론적으로 PPT는 PT에 대한 저비용 추가 요소이지만, 향후 PPT 작업 설계는 자연어 문법보다는 장거리 검색을 목표로 해야 합니다. 또한 PPT 성능 이득은 PT 데이터 혼합의 구성 방식에 둔감하며, 웹 텍스트가 없을 때만 감소하는 것으로 나타났습니다.

동적 주행 장면을 기록된 센서 데이터로부터 재구성하는 것은 자율 주행 시스템의 폐쇄 루프 평가를 지원합니다. 기존의 레이더는 카메라나 LiDAR와 달리 도플러 효과를 통해 방사형 속도를 직접 측정할 수 있지만, 기존의 새로운 시점 합성 방법들은 이 기능을 충분히 활용하지 못하고 있습니다. 특히 동적 장면을 다루는 방법들은 범위-방위 텐서만을 재구성하거나 도플러를 렌더링할 때 정적인 장면을 가정합니다.

DyRAD는 이러한 한계를 극복하기 위해 정적인 배경 반사체와 움직임 추적 동적 점 반사체를 사용하여 완전한 범위-방위-도플러(RAD) 텐서를 렌더링합니다. 이 모델은 객체 추적에서 파생된 반사체의 속도를 시선 방향으로 투영하여 도플러 정보를 렌더링 결과와 추적의 감독 정보로 활용합니다. 또한, 레이더 신호 처리 체인에서 파생된 고정된 분석적인 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 확산이 장면 표현에 포함되는 것을 방지합니다.

이러한 분리는 장면 재구성을 개선할 뿐만 아니라, 동일한 재구성된 장면을 리핏(refitting) 없이 다른 레이더 사양 하에서 렌더링할 수 있는 제로샷 센서 구성 전송을 가능하게 합니다. 연구진은 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가했으며, RADIal 데이터에 대해 참조 감지 객체의 90.7%를 복구해냈는데, 이는 가장 강력한 기준선 방법의 26.9%에 비해 훨씬 높은 수치입니다.

잠재 세계 모델은 계획을 위해 표현 기하학에 의존하지만, 잠재 공간의 주변 분포만을 정규화하는 것만으로는 행동 선택에 사용되는 상태 간 관계를 결정하지 못합니다. 이는 표현이 계획에 사용되는 최종 잠재 공간으로 변환될 때 계획에 중요한 새로운 구조가 약화될 수 있음을 의미합니다.

본 논문은 이러한 문제를 해결하기 위해 잠재 구조의 정렬된 전송(Aligned Transport of Latent Structure, ATLAS)이라는 훈련 목표를 제안합니다. ATLAS는 전역 잠재 분포를 보정하는 동시에 관계 기하학을 명시적으로 보존합니다. 구체적으로, 인코더 표현에서 정규화된 쌍별 구조를 계획 잠재 공간으로 전송하고, 1차원 Wasserstein-2 전송을 통해 주변 분포를 보정하는 Wasserstein 임베딩 매칭(WEMReg)을 사용합니다.

분석 결과, 관계 보존과 주변 분포 보정은 중복되지 않는 제약을 부과하며, 이는 유한 후보 계획의 안정성을 관계 왜곡, 잠재 규모 불일치, 예측 오류와 연결합니다. LeWM에 ATLAS를 구현한 결과, PushT, TwoRoom, OGBench-Cube 환경에서 목표 도달 성공률이 향상되었으며, 특히 높은 새로움(higher-novelty)의 TwoRoom 에피소드에서 가장 큰 이득을 보였습니다.

추가적인 표현 및 롤아웃 진단 결과, 계획 잠재 공간에서 새로움 관련 구조가 더욱 강해지고 주변 분포 보정이 개선되었으며 다단계 예측 오류가 감소했습니다. 이는 신뢰할 수 있는 세계 모델 계획을 위해 계획 관련 잠재 기하학을 보존하는 것이 중요함을 강조합니다.

자기 지도 학습은 영아의 시각 발달에서 영감을 받았지만, 표준 훈련 파이프라인은 이미지들을 독립적으로 샘플링하고 에포크별로 전역적으로 섞는 방식으로 진행되어 연속적인 비디오 스트림의 특성을 반영하지 못합니다. 연구진은 이러한 문제를 해결하기 위해 시간 순서대로 엄격한 슬라이딩 윈도우 배치(sliding-window batches)를 사용하여 프레임을 소비하는 연속 비디오 스트림에서 자기 지도 학습을 연구했습니다.

이를 위해 95시간 분량의 도시 도보 투어 비디오 데이터셋인 WT++를 구축하고 평가한 결과, 대조 학습 및 증류 기반 방법들은 이 환경에서 어려움을 겪는 것으로 나타났습니다. 마스크 오토인코더(MAE)는 더 견고했지만 표준 독립적이고 동일 분포(i.i.d.) 사전 훈련 방식에는 미치지 못했습니다. 이는 연속 배치 간 소비로 인해 발생하는 배치 간 유사성보다는 각 배치 내 프레임들이 거의 동일한 중복(near-duplicates)을 보이는 높은 배치 내 유사성이 주요 난제임을 시사합니다.

연구진은 이러한 문제를 완화하기 위해 StreamMAE를 제안했습니다. StreamMAE는 핵심 MAE 재구성 목표를 보존하면서 스트림 인식 정규화와 모션 편향 크롭 선택을 통해 입력 파이프라인을 조정합니다. StreamMAE는 스트리밍 기반 기준 모델을 능가하며, 동일 비디오 데이터로 훈련된 i.i.d. MAE와 일치하고, ImageNet 사전 훈련 MAE와 경쟁하며, 사전 훈련 스트림 길이가 12시간에서 95시간으로 늘어날 때 긍정적으로 확장되는 성능을 보였습니다.

과학 소프트웨어는 컴퓨터 사용 에이전트, 특히 시각 언어 모델(VLM)에게 매우 까다로운 테스트를 제시합니다. 연구 워크플로우를 완료하려면 전문 인터페이스를 해석하고 과학적 객체를 조작하며 검증 가능한 결과를 도출해야 하기 때문입니다. 이러한 어려움을 해결하기 위해 연구진은 과학적으로 의미 있는 작업, 결과물 기반 평가, 그리고 효율적인 에이전트 하네스를 결합한 벤치마크 및 평가 환경인 OSWorld-Science를 소개합니다.

이 벤치마크는 분자 그리기 및 역합성, 병리학 이미지 분석, 통계 컴퓨팅, 물리 시뮬레이션 등 여러 과학 분야와 소프트웨어 구성을 포괄하는 146개의 고품질 작업을 포함하며 12개의 VLM을 대상으로 합니다. 이러한 작업들은 전문가 제안과 반복적인 인간-AI 공동 설계를 통해 과학적 가치와 난이도를 기준으로 선정되었습니다. 작업별 실행 기반 평가기는 분자 구조, 분할 마스크, 플롯 및 수치 결과와 같은 애플리케이션 상태와 생성된 결과물을 검사하여 불완전한 결과에 대해 부분 점수를 부여합니다.

OSWorld-Science는 모델 어댑터, 상호 작용 루프 제어, 궤적 로깅을 통합하여 모델과 상호 작용 전략을 비교할 수 있는 특별한 하네스를 제공합니다. 분석 결과, 강력한 하네스를 갖춘 현재의 최첨단 VLM조차도 과학 분야의 핵심 질문들을 해결하는 데 여전히 어려움을 겪고 있음을 보여줍니다. 연구진은 다중 언어, 추론 노력, 컨텍스트 길이 등 다양한 요인에 걸친 벤치마킹 결과를 분석하여 향후 발전을 위한 중요한 결론과 방향을 도출했습니다.

궁극적으로 이 연구는 전문가가 정의한 과학적 목표를 검증 가능한 소프트웨어 결과물과 연결하는 통합 프레임워크를 제공하여 과학 워크플로우에서 에이전트 능력과 하네스 설계를 체계적으로 평가할 수 있게 합니다.