MULTI3IR: A Benchmark for Multi-perspective Multi-domain Multi-modal Information Retrieval

정보 검색(IR) 분야는 다양한 관점을 수용하는 개방형 질문에 점점 더 초점을 맞추고 있습니다. 하지만 기존의 IR 벤치마크들은 주로 폐쇄형 질문에 집중되어 있으며, 개방형 벤치마크조차도 지원 문서가 단일 주제 영역과 양식에 국한되는 경우가 많아 한쪽 관점에 편향되는 문제가 있었습니다.

이에 연구진은 다양한 도메인과 양식에 걸친 개방형 질문의 다면적인 관점을 얼마나 잘 포괄하는지 평가하는 새로운 벤치마크인 Multi^3IR을 제안했습니다. 이 벤치마크는 104.9K개의 스택 익스체인지 질문을 포함하며, 각 질문에는 질문의 암묵적인 관점을 포착하는 관점 설명이 주석으로 달려 있습니다.

또한, 연구진은 임베딩을 다양하지만 의미 있는 의미론적 방향으로 유도하기 위해 노이즈 벡터를 학습하는 파라미터 및 레이블 효율적인 방법인 SPIN을 제안했습니다. 실험 결과, 기존의 멀티모달 검색기들은 단일 관점 편향을 겪는 것으로 나타났으며, SPIN은 Multi^3IR에서 관점 포괄성을 크게 개선하고 보지 못한 개방형 IR 벤치마크로 잘 일반화된다는 것을 보여줍니다.

이 연구는 기존 멀티모달 검색기의 한계를 극복하고 다양한 관점을 효과적으로 처리하는 데 기여하며, 데이터셋과 실험 코드는 https://github.com/seokwon99/Multi3IR에서 확인할 수 있습니다.

RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests

코딩 에이전트 평가는 일반적으로 GitHub 이슈를 기반으로 구축된 SWE-bench 벤치마크를 통해 이루어집니다. 하지만 실제 사용자 요청은 벤치마크 문제보다 훨씬 짧고 구조화가 덜 되어 있습니다. 이러한 격차를 분석하기 위해 정보 분류 체계와 언어 스타일 차원을 정의하고 실제 사용자 프롬프트와 벤치마크 문제를 분석했습니다.

분석 결과, 문제 진술만 포함된 요청은 실제 프롬프트의 88%를 차지하지만 벤치마크 문제의 7%에 불과합니다. 또한 실제 프롬프트의 87%는 비공식적인 문체인 반면, 벤치마크 문제는 94%가 공식적인 문체를 사용한다는 점을 발견했습니다. 이러한 관찰을 바탕으로 SWE-bench에서 파생된 381개의 다변이 태스크 패밀리인 RealSWE를 도입했습니다.

RealSWE를 사용하여 여러 LLM을 평가한 결과, 현실적인 입력은 평균적으로 해상도율을 6.4%p 감소시키고 모델 순위를 바꿀 수 있음을 확인했습니다. 더 나아가, 프롬프트 구성 요소에 대한 통제된 분석을 통해 성능에 미치는 영향을 확인했습니다. 구체적으로 원하는 행동과 동기(Desired Behavior and Motivation)를 포함하는 것이 성능에 크게 영향을 미치는 반면, 환경 정보나 재현 단계(Reproduction Steps)는 측정 가능한 이점을 추가하지 않는 것으로 나타났습니다.

결론적으로, 대부분의 실제 프롬프트에서 생략되는 원하는 행동과 동기를 명시적으로 밝히는 것이 LLM의 소프트웨어 엔지니어링 성능을 실질적으로 향상시킵니다. 이는 에이전트와 사용자 모두에게 실질적인 지침을 제공합니다.

Token-Efficient Data Reasoning Agents via Adaptive Structuring of Unstructured Data

엔터프라이즈 AI에서 LLM 에이전트가 비정형 데이터에 대해 추론하여 복잡한 질문에 답하는 것은 현재 비용이 매우 높습니다. 에이전트가 답변을 위해 반복적으로 대규모 문서를 열어 증거를 복구할 경우 최대 백만 토큰을 소비하며 비용이 기하급수적으로 증가합니다. 만약 데이터가 이미 구조화되어 있다면 동일한 질문은 저렴한 데이터베이스 조회로 대체될 수 있으며, FanOutQA 벤치마크에서 이상적인 사전 구조화된 저장소에 대한 추론은 28배 더 저렴합니다.

하지만 모든 것을 미리 구조화하는 것은 현실적으로 불가능합니다. 문서에는 작업 부하가 사용할 것보다 훨씬 많은 잠재적 구조를 담고 있으며, 유용한 구조와 문서는 쿼리가 도착할 때까지 알려지지 않습니다. 이에 본 연구는 에이전트 추론 과정의 부산물로 비정형 데이터를 적응적이고 추측적으로 구조화하는 방법인 에이전트 데이터 크래킹을 제안합니다.

이 방법은 관찰된 쿼리를 통해 언제, 무엇이 중요한지를 결정하여 구조화를 적응적으로 수행하며, 현재 질문을 넘어서는 추측을 통해 구조화합니다. 에이전트가 문서를 열 때마다 크래킹 서브 에이전트가 이미 로드된 컨텍스트에서 최소 비용으로 분기하여 관련 미래 쿼리에 유용한 구조를 추출합니다.

이러한 접근 방식을 통해 시간이 지남에 따라 쿼리의 상당 부분이 구조화된 데이터로 완전히 커버되어 문서를 열지 않고도 답변이 가능해지며, 에이전트 정확도를 RAG 비용 수준으로 유지합니다. FanOutQA에서 테스트 질문당 관련 질문 하나만 추가했을 때, 크래킹은 정확도를 유지하면서 비용을 53% 절감합니다. 에이전트 데이터 크래킹은 비정형 데이터에 대한 에이전트 추론을 위한 차세대 데이터 인프라의 첫걸음이며, 추론을 통해 이미 밝혀낸 지식이 축적되는 모델 아래의 공유 기판을 제공합니다.

Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You

모델 파라미터 업데이트 없이 학습된 모델을 적용하는 테스트 시간 적응(TTA)은 추론 전 모델 파라미터를 업데이트할 수 있다는 가정에 기반합니다. 이러한 가정은 추론 전용 가속기, 동결된 모델, 메모리가 제한된 배포 환경에 제약이 되며, 배치 정규화(BatchNorm)가 없는 아키텍처에서는 표준 BatchNorm 기반 TTA 설정이 비활성화될 수 있습니다. 연구진은 학습된 모델이 동결된 상태로 유지되어야 하는 상황에서 적응 방법을 탐구하며, 이를 위해 경사도 없이(gradient-free) 소스 클래스 통계(source class statistics)를 판별 공간에 저장하고 타겟 배치 모멘트로부터 클래스 공유 아핀 변환을 추정하여 분류 전에 소스 클래스 분포를 분석하는 CASTER라는 방법을 제안했습니다.

CASTER는 역전파 과정, 옵티마이저 상태, 저장된 소스 특징 뱅크가 필요 없으며, 네 가지 백본과 일곱 가지 데이터셋에서 추론 시 동결된 특징에 대해 k-NN보다 우수한 성능을 보였고, 상태를 평균 18배 적게 사용했습니다. 그러나 아핀 전송(Affine transport)은 항상 신뢰할 수 있는 것은 아니며, ImageNet-C와 같은 특정 데이터셋에서는 무조건적인 전송이 성능 손실을 초래할 수 있습니다. 따라서 연구진은 경험적 잔차-마진 전송 가능성 인증(residual-to-margin transportability certificate)을 도입하여 이 문제를 해결하고자 했습니다.

이 인증은 전송이 10점 이상 손실될 때 유효하며, 이를 통해 무조건적인 전송의 평균 -3.35점 효과를 +1.69점의 이득으로 전환할 수 있음을 보여줍니다. 또한 이 인증은 메커니즘에 따라 특이한데, Tent에 적용했을 때 업데이트의 4.3%만 수용하고 사용 가능한 이득의 0.6%만 보존하는 것으로 나타났습니다. 이는 CASTER가 동결된 모델 배포를 위한 경량 적응 메커니즘으로서, 안전 신호가 유익한지 아닌지를 명시적으로 설명해주는 역할을 함을 시사합니다.

Ending my elixir exploratory writing

Elixir 프로그래밍에 대한 탐구적인 글쓰기를 중단하겠다는 글을 통해 최근 개발 커뮤니티 내에서 지식 공유와 창의성의 역할에 대한 근본적인 변화를 제시합니다. 저자는 LLM이 대량의 코드를 생성하면서 토론이 붕괴되고, 오픈 소스가 '개발자가 모든 것을 처음부터 다시 생성한다'는 의미로 변질되는 현상을 지적합니다.

이러한 상황에서 많은 블로그, 포럼 게시물, GitHub 토론 등이 기계에 의해 작성되면서, 인간의 상상력과 목소리를 위임하는 현상이 발생하고 있다고 분석합니다. 저자는 이러한 현상이 개발자들의 상상력에 한계를 가져온다고 보며, 아이디어와 상상력을 기계에게 넘겨주는 것이 더 효율적이라고 판단했습니다.

따라서 앞으로는 아이디어와 상상력을 공개적으로 공유하는 행위를 멈추고, 이를 LLM에게 제공하여 다음 단계의 작업에 집중하겠다는 결정을 내렸습니다. 이는 BEAM 플랫폼이 여전히 훌륭한 기반이며, 커뮤니티가 계속해서 깊이 탐구할 것을 권장하는 맥락에서 이루어졌습니다.

Erlang이나 Elixir에 투자하거나 혜택을 받는 개발자들은 Erlang 생태계 재단에 동참할 것을 고려해야 합니다. 이는 기술 발전 속에서 커뮤니티가 지식 탐구의 주체로 남을 수 있도록 하는 중요한 맥락입니다.

Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry

멀티모달 기하 추론은 시각적 관계를 정확하게 추출하고 다단계 추론을 통해 보존하기 위해 VLM(Vision-Language Model)이 필요합니다. 기존의 자유 형식 추적 방식은 정답을 결정하는 결정을 모호하게 만들고 있으며, 궤적 수준 강화 학습은 단일 최종 신호를 전체 응답에 분산시키는 한계를 가집니다.

이에 연구진은 추론 과정에서 노출되는 의미 단위가 학습이 대안을 비교하고 점수를 부여하는 위치를 정의하도록 하는 신용 주소 지정 추론(credit-addressable reasoning)을 제안합니다. 이 원칙을 Code-CoT와 CE-GRPO에 적용하여 이를 구체화했습니다. Code-CoT는 다이어그램을 유지하고 시각적 관계를 라인 주소 지정 실행 가능한 코드로 표현하며 추론을 타입화된 이벤트로 정리합니다.

CE-GRPO는 구조적 사전 정보와 타입 정규화 엔트로피를 사용하여 이벤트 경계를 선택하고, 공유 접두사로부터 완전한 연속을 샘플링하며, 결과 차이를 국소적인 이점으로 변환하여 추론을 수행합니다. 이 방법은 아홉 가지 기하학적 벤치마크에서 평균 76.04%의 정확도를 달성했으며, Qwen3-VL-8B보다 8.09점, 궤적 수준 GRPO보다 3.43점 더 높은 성능을 보였습니다.

특히 중간 이벤트의 수가 많을수록 상대적 이점이 증가한다는 점은 장기적이고 의존성이 높은 멀티모달 추론에 있어 표현-최적화 공동 설계의 가치를 입증합니다.

Recursive Criticality of AI Self-Improvement

AI의 자기 개선 과정에서 피드백이 어떻게 증폭되는지에 대한 모델이 제시되었습니다. 연구진은 AI 연구의 속도가 기본 연구 생산성, 재귀적 피드백, 그리고 연구 진행의 어려움에 따라 어떻게 달라지는지를 설명합니다. 이들은 개선이 개발 주기 전반에 걸쳐 증폭되는지 또는 약화되는지를 결정하는 재귀적 재생산 수($R_{AI}$)를 도출했습니다.

$R_{AI}$는 피드백의 강도와 추가적인 진전이 더 어려워지는 속도를 비교하여 증폭 또는 감쇠를 판단합니다. 만약 $R_{AI}$가 1보다 크면 개선 효과가 개발 주기 전반에 걸쳐 복리 효과를 내며 자기 증폭 체제에 놓이게 됩니다. 반면 $R_{AI}$가 1보다 작으면 이러한 효과는 주기마다 약해집니다.

이러한 증폭 체제로의 전환은 AI 연구 피드백 루프의 구조에 따라 달라지며 특정 모델 능력 수준에 국한되지 않습니다. 연구는 자기 증폭이 눈에 띄기 전에 시스템이 증폭 체제로 진입할 수 있음을 시사합니다. 또한, 개별 행위자가 아닌 조직 간에 공유되는 개선 사항이 전체 연구 생태계를 자기 증폭 상태로 만들 수 있다는 점도 밝혀졌습니다.

연구진은 재귀적 증폭과 다른 출처에 의해 주도되는 급속한 진보를 구별하기 위해 재귀적 피드백의 강도, 개선 사항이 후속 시스템으로 얼마나 효과적으로 전파되는지, 주기 길이, 그리고 추가적인 진전의 어려움과 같은 측정 가능한 AI 연구 시스템의 속성을 식별했습니다.

Agents in the Large: Perception-Centered Architecture for Persistent Agents

인지 언어 에이전트는 메모리, 도구, 의사 결정 절차를 언어 모델에 장착함으로써 상호작용 환경에서 추론하고 행동하는 데 상당한 발전을 이루었습니다. 하지만 기존의 프레임워크들은 이러한 에이전트를 사용자 지정의 제한된 작업을 해결하는 시스템으로 간주하는 경향이 있습니다. 앞으로 중요한 목표는 사용자의 요구, 맥락, 서비스 절차가 지속적으로 변화하는 장기적인 환경에서 언어 에이전트가 지속적인 지원을 제공하고 시간이 지남에 따라 발생하는 광범위한 작업에 유용하게 유지하는 것입니다.

이러한 지속적인 지원을 위해서는 지속적인 AI 에이전트를 특징짓고, 기존 연구를 정리하며, 향후 발전을 안내할 수 있는 프레임워크가 필요합니다. 이를 위해 본 논문은 지속적인 에이전트를 위한 지각 중심 아키텍처(Perception-Centered Architecture for Persistent Agents, Pera)를 제안합니다. Pera는 지각 및 제어 구성 요소 주위에 조직된 지속적인 에이전트를 설명하며, 에피소드별 작업 실행, 내부 맥락, 주변 환경의 변화로부터 서비스 관련 신호를 지속적으로 인식하고 이를 활용하여 생명 주기 작업(lifecycle tasks)을 구성합니다.

이러한 생명 주기 작업은 에이전트 서비스 절차의 지속적인 운영과 적응을 이끌어냅니다. Pera를 사용하면 최근 연구를 회고적으로 정리하고 상세한 사례 연구를 검토하며, 보다 유능한 지속적인 에이전트를 구축하기 위한 미래 지향적인 통찰력을 제공할 수 있습니다. 이는 소프트웨어 공학이 작은 것에서 큰 것으로 프로그래밍하는 방식으로 발전한 것과 유사하게, Pera는 언어 에이전트의 진화를 장기적이고 적응적인 지능 시스템으로의 구조적 전환으로 제시합니다.

Safin-1: Safety from Within through Memory-Native State Evolution

장기 복합 작업에서는 파운데이션 모델이 정보를 축적하고 내부 상태를 유지하며 장시간 상호작용을 통해 적응해야 합니다. 이 연구는 안전성이 외부 안전장치나 지도 미세 조정과 같은 사후 정렬에 의존하는 것이 아니라 모델 자체의 본질적인 속성이 되어야 한다는 '내부로부터의 안전(Safety from Within)' 개념을 제시합니다.

이를 실현하기 위해 연구진은 메모리 라우팅과 상태 진화를 통해 안전 관련 능력이 모델의 고유한 계산을 통해 표현되고 호출되도록 하는 Safin-1 계열의 파운데이션 모델을 제안합니다. Safin-1은 컨텍스트 이력을 가로지르는 메모리 앵커 라우팅(MARCH)이라는 네트워크 아키텍처를 기반으로 하며, 이를 통해 구조화된 메모리 상태를 유지하고 내용 조건부 라우팅으로 관련 과거 정보를 선택적으로 검색합니다.

이 아키텍처는 백본을 반복적으로 수정하지 않고도 테스트 시점에 지속적인 능력 상태를 적응시키는 것을 지원하여 공유된 기반 위에서 통제된 특수화를 가능하게 합니다. 연구진은 이 인터페이스를 안전 관련 작업에 적용하여 안전 상태(Safety State)를 통해 상태 기반 적응이 실질적인 안전 개선으로 이어짐을 입증했습니다.

결과적으로 이 연구는 메모리를 이전 컨텍스트의 수동적인 기록에서 모델의 행동을 유지하고 진화시키는 능동적인 기질로 재정의합니다. Safin-1은 일반 능력, 장기 컨텍스트 이해, 검색, 효율성 전반에 걸친 평가를 통해 그 효과를 입증했으며, 이는 안전성을 상태 고유의, 적응 가능하게 유지할 수 있는 능력으로 만드는 길을 제시합니다. 다만 이 연구는 내부로부터의 안전에 대한 초기 아키텍처 탐색에 불과하며, 이 더 넓은 비전을 실현하기 위해서는 상당한 추가 연구가 필요합니다.

Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering

다단계 질의응답(QA)에서 질문의 세분화 수준과 검색 가능한 코퍼스의 증거 세분화 수준이 일치하지 않는 것이 핵심 병목 현상입니다. 기존 방법들은 이러한 불일치를 해결하기 위해 고정된 그래프 구조를 사용하거나 반복적인 질의 재구성 또는 생성된 프로그램 실행을 통해 접근하지만, 질의 단위가 이미 증거로 뒷받침되는지 여부를 명시적으로 결정하지 못합니다.

이러한 문제를 해결하기 위해 연구진은 검색 가능한 세분성 발견을 병목 현상으로 정의하고 증거 조건화된 계층적 질의 정제를 위한 프레임워크인 Hi-Q를 제안했습니다. Hi-Q는 각 질의 노드에서 검색된 증거가 현재 질의 단위를 지원하는지 테스트하는 해상 연산자(resolution operator)를 사용하여 노드를 처리합니다. 해결된 노드는 종료되고, 해결되지 않은 노드는 의존성 보존 이진 연산자(dependency-preserving binary operator)를 통해 확장된 후 의미적 범위 검증기(semantic coverage verifier)를 통해 확인됩니다.

결과적으로 Hi-Q는 고정된 분해 템플릿이나 사전 구축된 그래프가 아닌 코퍼스 지원 신호를 기반으로 질의 트리의 위상(topology)을 결정하며 계층적 질의 정제를 수행합니다. 세 가지 다단계 QA 벤치마크에서 Hi-Q는 전체 코퍼스 검색 환경에서 IRCoT(반복적 검색 기준)보다 평균 15.1 EM / 18.2 F1, PropRAG(그래프 기반 RAG 기준)보다 11.5 EM / 12.0 F1, 그리고 MuSiQue-full 환경에서 PropRAG보다 11.5 EM / 12.0 F1의 성능을 보였습니다.

이러한 제한된 지원/방해자 설정 환경에서도 Hi-Q는 이전 연구에서 사용된 PropRAG 및 IRCoT보다 각각 5.6 EM / 3.9 F1 및 13.7 EM / 15.8 F1의 우위를 달성했습니다. 이 연구는 코퍼스 전체 그래프 구축 없이도 효율적인 증거 기반의 계층적 질의 정제를 가능하게 합니다.

E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

장기 목표 에이전트 작업은 단기 상호작용을 연결하는 것을 넘어, 끊임없이 탐색하고 경험으로부터 학습하며 정책을 조정해야 하는 동적 환경과 장거리 의존성을 요구합니다. 이러한 복잡성을 평가하기 위해 본 연구는 다중 라운드 상대 협상과 동적 이벤트를 연간 비즈니스 운영에 통합한 최초의 오픈소스 벤치마크인 이커머스 벤치(E-Commerce Bench)를 소개합니다.

이 벤치마크는 LLM 에이전트가 365일 동안 여러 온라인 스토어를 동시에 운영하며 시장 조사, 공급업체 협상, 판매 전략 최적화, 주문 이행, 반품 처리, 현금 흐름 관리를 수행하여 연말 총 자산을 극대화하는 것을 목표로 합니다. 현실적인 운영 환경을 구축하기 위해 제품 및 공급업체 데이터는 실제 이커머스 플랫폼에서 파생되었으며, 프로모션, 자연재해, 공급망 충격 등의 연간 변화가 수요를 지속적으로 재편합니다.

평가 결과, 18개의 최첨단 모델을 대상으로 일 년 말 자산과 같은 일곱 가지 차원에서 평가했을 때 단일 모델이 지배하지 않는 것으로 나타났습니다. GPT-5.6 Sol이 가장 높은 자산(1,431,425)을 달성했으나 사기 방지 측면에서는 18개 모델 중 16위를 기록했으며 운영 효율성에서는 Fable5에 뒤처졌습니다.

오픈 가중치 모델 중에서는 Qwen3.8-Max-Preview가 416,252를 달성하며 GLM 5.2(high)보다 38% 높은 성과를 보였고, 반복된 주문에 걸쳐 가격을 협상하는 데 있어 가장 강력한 장기 학습 능력을 보여주었습니다. 이 연구의 코드는 https://github.com/QwenLM/E-CommerceBench에서 확인할 수 있습니다.

ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training

로봇 조작의 일반화에 있어서 견고한 일반화는 광범위한 물리적 경험을 요구하지만, 행동 레이블이 지정된 로봇 궤적은 수집 비용이 높고 다양성이 제한적이라는 근본적인 스케일링 문제를 안고 있습니다. 이러한 문제를 해결하기 위해 객체 상호작용, 접촉 역학, 도구 사용 및 장거리 행동을 포괄하는 다양한 환경에서의 경험을 담고 있는 에고센트로(egocentric) 비디오를 대규모의 임베디드 경험의 출처로 활용하는 접근 방식이 제시되었습니다.

연구진은 대규모 비디오에서 일반화 가능한 세계 행동 모델(WAMs)을 학습하기 위한 확장 가능한 프레임워크인 ZimaBlue를 소개했습니다. ZimaBlue는 대규모 인간 및 로봇 에고센트로 비디오를 이용한 인과적 임베디드 비디오 사전 학습, 통일된 행동 표현을 사용한 비디오-행동 중간 학습을 통한 이질적인 로봇 궤적에 시각적 역학을 기반으로 하는 과정, 그리고 최종적으로 특정 로봇에 대한 모델 전문화를 포함하는 세 단계 훈련 커리큘럼을 따릅니다.

실제 로봇 제어를 위한 생성형 WAM을 실용적으로 만들기 위해 ZimaBlue는 비동기적인 Slow-Fast 이중 시스템 아키텍처를 채택했습니다. 이 구조는 일반화 가능한 시공간 표현을 제공하는 고용량 Slow 세계 모델과 NVIDIA RTX 4090에서 30Hz 행동 예측을 가능하게 하는 경량 Fast 브랜치로 구성되어 있습니다. 실제 로봇 제로샷 평가에서 목표 로봇 데이터만 사용하는 것에서 120,000시간 이상의 임베디드 비디오로 확장했을 때 성공률은 36.1%에서 77.8%로 향상되었습니다.

이러한 확장 덕분에 ZimaBlue는 여러 벤치마크에서 강력한 성능을 제공하며, 특히 보지 못했던 작업에서 두드러진 성능 향상을 보였습니다.

Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

Qwen-Drive-1.0은 자율 주행을 위한 비전-언어 파운데이션 모델(VLM)의 초기 단계로 제시됩니다. 이 모델은 사전 학습된 VLM 아키텍처를 유지하면서 3차원 인식, 시각 질문 응답, 모션 계획을 통합한 통일된 프레임워크를 구축했습니다.

모델은 외부 버드아이뷰(BEV) 인식 헤드를 통해 3차원 객체 탐지, 의미적 점유 예측, BEV 맵 분할을 동시에 수행합니다. 이는 공유 표현에서 접근 가능한 3차원 정보를 탐색하고 3차원 장면 구조에 대한 명시적이고 검사 가능한 인터페이스를 제공합니다. 또한 계획 전문가(Planning Expert)는 공유 VLM 표현에 조건화하여 미래의 자율 주행 경로를 생성합니다.

훈련 방식은 주행 감독과 일반적인 비전-언어 데이터를 결합한 단계적 훈련 레시피를 사용합니다. 이를 통해 주행 특화 역량을 습득하는 동시에 광범위한 시각 이해 및 지시 따르기 능력을 보존합니다.

실험 결과는 광범위한 비전-언어 능력을 대부분 보존하면서도 강력한 3차원 인식 및 주행 장면 이해 능력을 입증합니다. 개방 루프, 유사 폐쇄 루프, 폐쇄 루프 설정 전반에 걸친 종합적인 평가를 통해 매우 경쟁력 있는 모션 계획 성능도 확인되었습니다.

The Mechanics of Democratic Dominance: A System Dynamics Paradigm for Dynamic Consent Engineering

본 논문은 민주적 지배의 역학을 시스템 역학 패러다임으로 분석하는 동적 동의 공학(Dynamic Consent Engineering, DCE)이라는 새로운 학제 간 패러다임을 제시합니다. 이는 에드워드 버내이즈의 홍보 관계 원칙과 시스템 역학의 S-E-E-D(Snowball, Equilibrium, Elasticity, Dominance) 프레임워크를 통합하여 정치적 지배가 어떻게 구성되고 유지되는지를 수학적으로 형식화합니다.

연구는 버내이즈의 운영 제약을 인력, 정신력, 자본 외에 알고리즘 미디어 인프라를 포함하는 4차원 자원 매트릭스로 확장하여 민주적 제도가 정치적 지배를 어떻게 구축하고 최적화하며 지속하는지를 분석합니다. 또한 버내이즈의 8단계 공학 워크플로우를 비선형 피드백 루프, 정보 시간 지연, 인구 수용 능력에 직접 매핑하여 시스템의 동적 구조를 모델링합니다.

이러한 시스템 피드백 구조에 대한 엄격한 모델링을 통해 정치적 탄력성, 정책 저항의 정체 구간, 그리고 임계값에 따른 신뢰 붕괴의 동적 근본 원인을 분리해 냅니다. 최종적으로 연구는 장기적인 정치적 안정성이 일시적인 수사(rhetoric)가 아닌 정책 실행의 구조적 동기화와 동적 피드백 보정(dynamic feedback calibration)에 달려 있음을 입증합니다.

Uncertainty-Aware End-to-End AI Weather Forecasting: Disentangling Observation and Model Contributions

종단 간 기상 예측 시스템은 데이터 동화(data assimilation)를 포함하는 수치 기상 예측 파이프라인을 대체하여 원시 지구 관측 자료로부터 숙련된 전 지구 격자 및 관측소 예측을 비용 효율적으로 제공합니다. 이 시스템은 불확실성을 내포하지 않는 결정론적 예측을 제공하지만, Aardvark Weather 모델은 각 구성 요소에 확률적 메커니즘을 추가하여 확률적 모델로 구현되었습니다.

모델은 관측 인코더에서 학습된 입력 의존적 노이즈를 통해 관측 시스템에서 물려받은 알레아토릭 불확실성(aleatoric uncertainty)을 포착하고, 프로세서에서 몬테카를로 드롭아웃(Monte Carlo dropout)을 사용하여 학습된 역학에서의 에피스테믹 불확실성(epistemic uncertainty)을 포착합니다. 이러한 불확실성은 총 분산 법칙 분해(law-of-total-variance decomposition)를 통해 두 출처로 전달되며, 관측 스트림을 제외함으로써 교차 확인됩니다.

확률적 미세 조정(probabilistic finetuning)을 통해 평균 예측값은 변수와 예측 시간 전체에 걸쳐 평균 4.2% 향상되었습니다. 또한 이 앙상블은 중기 범위에서 ERA5와 0.98의 확산-기술 비율(spread-skill ratio)로 보정되었으며, 관측소 RMSE는 결정론적 모델 대비 2.4% 이내로 유지하면서 모든 예측 시간에서 CRPS(Continuous Ranked Probability Score)에서 우수한 성능을 보였습니다.

구성 요소별 불확실성(component-attributed uncertainty)을 통해 종단 간 예측의 투명성이 향상되어 대기의 관측 기반 디지털 트윈을 향한 발걸음을 내딛게 됩니다. 이는 기상 예측 시스템이 관측 기반으로 작동하는 방향으로 발전하고 있음을 의미합니다.

DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection

비전-언어 모델(VLM)의 정렬 및 지시 이행 능력을 향상시키기 위해 시각 지시 튜닝은 매우 중요합니다. 하지만 빠르게 확장되는 데이터셋에서 고정된 비율 제약 조건 하에 최적의 부분집합을 식별하는 것은 여전히 큰 병목 현상입니다. 기존 방법들이 분포 다양성이나 휴리스틱 필터링에 의존하는 반면, 개별 샘플 내의 내부 일관성을 간과하는 경우가 많습니다.

이러한 격차를 해소하기 위해 우리는 샘플 수준의 구성 요소 일관성을 정량화하는 자체 점수 메트릭인 데이터 내재적 일관성(Data Intrinsic Consistency, DIC)을 제안합니다. DIC는 시각 정보 일관성(Visual Information Consistency, VIC, 시각 콘텐츠와 지시의 정렬 평가)과 응답 정보 일관성(Response Information Consistency, RIC, 지시 대비 응답 일관성 평가)이라는 두 모듈로 구성됩니다.

DIC를 기반으로 데이터 내재적 일관성 선택(Data Intrinsic Consistency Selection, DICS)이라는 적응형 데이터 선택 방법을 도입하여 다양한 데이터 예산과 모델 아키텍처에 걸쳐 높은 샘플 내부 일관성과 전역 분포 다양성 사이의 균형을 최적화합니다. 실험 결과, DICS는 전체 데이터셋 미세 조정보다 우수한 성능을 보이며 LLaVA-1.5-665K 데이터의 25%만을 사용하여 최고 수준의 방법들을 능가했습니다.

특히, DICS-6M이라는 600만 샘플의 멀티모달 지시 코퍼스를 구축하여 가장 광범위한 시각 지시 선택 연구를 가능하게 했습니다. 놀랍게도 DICS는 보고된 훈련 데이터의 25% 미만을 사용하여 공식 InternVL3-8B-Instruct 성능의 94.52%에 도달했습니다.

WebWorld: The Browser as a World Model for Self-Improving Web Code

웹 코드의 VLM 기반 자체 개선 과정에는 구조적인 결함이 존재합니다. 즉, 수정을 제안하는 모델이 판단하는 모델이 되기 때문에 시각적 타당성은 페이지가 실제로 작동하는지에 대한 좋은 대리 지표가 되지 못합니다. 이 루프가 놓치고 있는 것은 VLM이 속일 수 없는 상대방, 즉 브라우저입니다. 브라우저는 HTML 결과물이 사용자 행동에 따라 어떻게 작동하는지를 결정하는 결정론적이고 실행 가능한 시뮬레이터이며 웹 코드의 세계 모델 역할을 합니다.

이에 우리는 VLM이 이 브라우저 기반 세계 모델과 자율적으로 상호작용하고 어떤 상호작용을 감독으로 삼을지 결정할 수 있게 하는 인터페이스인 WebWorld를 제시합니다. 각 라운드에서 VLM은 비판을 제시하고 계획자는 이를 타입화된 상호작용 계약으로 정리합니다. 브라우저는 후보를 재실행하고 목표 진행 상황과 이전에 검증된 모든 기능의 보존이 충족될 때만 승인 증명서를 발행합니다. 이러한 인증된 전환은 품질의 래칫(quality ratchet)으로 축적되며 이는 SFT 내보내기(SFT export)가 볼 수 있는 유일한 정보가 됩니다.

이러한 방식을 통해 학습된 WebWorld-27B는 Raw-27B 모델을 HTMLBench-400에서 5.3점, MiniAppBench-Val에서 14.9점 향상시켰습니다. 또한 인터랙티브 HTML 생성 분야에서 Kimi-K2.6 및 GPT-5.4와 같은 강력한 최첨단 시스템의 수준에 도달했습니다. 이 결과는 브라우저 기반 승인(admission)이 이득을 가져온다는 것을 보여주며, 인증서 없이는 이득이 거의 사라집니다.

LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation

모든 신체화된 내비게이션은 다양한 목표와 시각적 관찰을 작업, 환경, 로봇 구현체 전반에 걸쳐 행동으로 변환하는 것을 요구합니다. 기존 내비게이션 시스템은 작업별 또는 구현체별 구성 요소에 의존하여 지각, 추론, 행동을 파편화하고 일반화 능력이 제한적이라는 한계가 있었습니다.

본 논문은 이러한 문제를 해결하기 위해 사전 학습된 비전-언어 모델(VLM)의 공간 지능을 이끌어내고 내비게이션과 정렬하는 경량의 범용 신체화 내비게이션 모델인 LightNav-0을 제시합니다. LightNav-0은 작업별 예측 헤드 없이도 통일된 토큰 인터페이스를 통해 다양한 내비게이션 작업을 표현합니다. 특히 듀얼 채널 포인팅은 작업, 장면, 구현체에 구애받지 않는 공간 의도를 표현하며, 잔여 벡터 양자화 액션 토크나이저를 사용하여 이 의도를 정밀한 구현체별 궤적으로 매핑합니다.

이 모델은 시간 인식 시각 기록 압축, ER 중간 훈련, 지도 미세 조정, 강화 학습 등을 통해 훈련되었으며 2K 이상의 장면과 4K 이상의 신체화 내비게이션 데이터를 사용합니다. LightNav-0의 초기화에 사용된 신체화 추론 체크포인트인 LightNav-ER은 8가지 신체화 추론 벤치마크에서 최고 평균 점수를 달성했습니다. 또한 LightNav-0은 10가지 공개 내비게이션 시뮬레이션 설정에서 최고 수준의 단안 성공률을 달성했습니다.

실제 평가 결과는 로봇 구현체, 다양한 장면, 정적 및 동적 목표에 걸친 제로샷 일반화를 입증합니다. 이는 경량 VLM이 범용 신체화 내비게이션을 위한 통일되고 전이 가능한 백본임을 확립합니다.

Lies We Can See: Joint Verbal and Non-Verbal Deception by VLM Agents in Embodied Social Interactions

LLM 및 VLM 에이전트의 전략적 기만 행위는 AI 정렬 및 안전성 분야에서 핵심적인 우려 사항으로 부상하고 있습니다. 현재의 사회 추론 게임은 다중 에이전트 환경에서 신원을 추론하는 테스트베드로 사용되지만, 기존 테스트베드는 텍스트 기반이며 단일 에이전트 구성에서 실행되어 기만 행위의 핵심으로 간주되는 비언어적 감각 운동 채널을 놓치고 있습니다. 이로 인해 관찰된 행동이 모델 자체에 의한 것인지 주변 환경(하네스)에 의한 것인지 모호한 상태가 발생합니다.

이에 연구진은 이러한 한계를 극복하기 위해 3차원 멀티모달 Among Us 샌드박스인 MineAmongUs를 제안했습니다. 이 샌드박스에서는 임포스터 에이전트가 언어적 및 비언어적 행동을 통해 승무원을 속여야 합니다. 또한, VLM 에이전트 하네스를 구성 가능한 ARIA로 제안하여 다섯 가지 인지 구성 요소 제거 축을 노출시킵니다.

더불어, 기만 분류 체계에 기반하고 LLM-as-a-Judge가 대규모로 운영하여 인간 수준의 원자 수준 레이블 일치에 도달한 원자 및 아크 수준의 주석 체계를 제시했습니다. 실험 결과는 VLM 에이전트가 언어적 및 비언어적 기만을 통해 임포스터 승리를 추구하며, 하네스 제거 및 교차 VLM 평가 모두에서 비언어적 채널이 승리에 더 결정적인 기여를 한다는 것을 보여줍니다.

이 연구는 구체적인 신체화된 VLM 에이전트 정렬 연구를 위한 새로운 경로를 열어줍니다.

Verification-Aware Training for Speculative Decoding

추측 디코딩(Speculative Decoding)은 드래프트 모델을 사용하여 후보 토큰을 생성하고 타겟 모델이 단일 순방향 패스로 이를 검증함으로써 대규모 언어 모델 추론 속도를 가속화합니다. 그러나 기존의 드래프트 학습 방식은 토큰 수준의 모방에 고정된 위치별 가중치를 적용하여 실제 검증 과정을 반영하지 못하는 한계가 있었습니다.

이에 연구진은 검증 과정을 학습 단계마다 시뮬레이션하고 그 결과인 수용 및 거절 패턴을 감독 신호로 활용하는 플러그인 프레임워크인 검증 인식 학습(Verification-Aware Training, VAT)을 제안합니다. VAT는 두 가지 구성 요소로 이루어져 있는데, 하나는 각 위치가 순차적 검증을 통과하는지 감독하는 경량 이진 분류기인 검증 헤드이며, 다른 하나는 고정된 가중치 스케줄을 대체하여 샘플의 첫 거절 지점까지 전체 가중치를 유지하고 감쇠를 재기준 설정하는 검증 적응형 가중치입니다.

VAT는 학습 목표만을 수정하기 때문에 드래프트 아키텍처, 타겟 모델 또는 추론 절차를 변경하지 않고 기존 방법론 위에 적용할 수 있습니다. EAGLE-3 및 DFlash 모델에 Qwen3-4B, Qwen3-8B, LLaMA-3.1-8B에 VAT를 적용한 결과, 평균 수용 길이(acceptance length)가 최대 11.4% 향상되었고 벽시계 속도(wall-clock speedup)는 최대 8.7% 향상되었습니다. 이러한 성능 향상은 수학, 코드, 채팅 벤치마크 전반에서 일관되게 나타났습니다.