읽을 가치가 있는 기사만, 짧고 또렷하게.

370만 개의 지도 다각형을 489밀리초 만에 삼각형으로 분할하는 작업에서 새로운 알고리즘이 기존 방식보다 훨씬 빠르게 처리됨을 입증했습니다. 이 연구는 지도 데이터가 주로 다각형으로 구성되어 있기 때문에, 렌더링이나 시뮬레이션을 위해 다각형을 삼각형으로 나누는 과정의 효율성을 극대화하는 데 초점을 맞춥니다.

연구진은 다각형을 삼각형으로 분할하는 두 가지 주요 방법인 델로네 삼각분할(Delaunay)과 귀 자르기(Ear Clipping)를 비교했습니다. 델로네 방식은 점들의 원 규칙을 사용하여 가장 큰 최소 각도를 갖는 삼각형을 생성하며, 귀 자르기 방식은 다각형의 모서리를 잘라 삼각형을 생성하는 방식입니다. 이 과정에서 구현 방식에 따라 성능 차이가 발생하며, C++ 환경에서는 `earstrip`이 `earcut.hpp`보다 14% 빠르며, 브라우저 환경에서는 `earcut.js`보다 1.4배에서 2.1배까지 빨랐습니다.

성능 차이는 구현 방식에 따라 크게 달라지는데, 좌표를 JavaScript 숫자로 전달하고 배열을 반환하는 방식은 `earcut.js`보다 1.4배 빠르지만, 모듈 내부 루프를 사용하는 방식과 비교하면 성능 차이가 줄어듭니다. 특히, 다각형의 모서리 테스트나 버킷 처리를 생략하고 직접적인 메모리 접근을 통해 처리할 경우, `earcut.js`보다 1.7배에서 2.1배까지 속도가 향상될 수 있습니다.

로봇 계획에서 연속적인 상태와 행동 공간을 다루는 데 있어 이 논문은 하이브리드 이산-연속 공식화가 어떻게 조합적 구조를 명시적으로 드러내는지 탐구합니다. 기존 방법들은 인간이 정의한 기호나 언어 감독으로부터 파생된 기호에 의존하지만, 기호가 실제로 계산적으로 유용한지 묻지 않습니다.

본 연구는 기호의 유용성을 원래 계획 문제를 해결하는 데 필요한 이산적 약속을 드러내는 것으로 정의하는 추론-알고리즘 중심의 관점을 제시하며, 이를 통해 '솔버 충분 기호화(solver-sufficient symbolization)'라는 개념을 도입합니다. 이를 위해 유한 지평의 조각별-아핀 시스템을 연구하여 솔버 충분성을 정확하게 특성화하고, 기호 발명을 위한 반례 기반 알고리즘을 개발했습니다.

이 원칙은 일반 신경망으로 매개변수화된 최적화 목표를 위한 기호 발명으로 확장되어, 연속적인 최적화 지형으로부터 솔버 충분 기호를 유도할 수 있음을 보여줍니다. 시뮬레이션 및 실제 로봇 작업에 대한 실험 결과, 이렇게 생성된 기호는 해답 품질을 유지하면서도 해결 비용을 줄이고 해석 가능성과 조종성을 향상시킵니다.

궁극적으로 이 연구는 특정 인간이 정의한 기호가 왜 계산적으로 유용한지에 대한 이론적 및 알고리즘적 통찰을 제공하여 기호 설계에 대한 이해를 돕습니다.

대규모 언어 모델은 폐쇄형 설정에서 사실 질문에 잘못된 답변을 하는 경우가 많으며, 이는 보통 지식 부족으로 여겨집니다. 그러나 모델은 자신이 생성하지 못한 답변을 인코딩하는 경향이 있습니다. 연구 결과, 많은 폐쇄형 오류는 첫 토큰 회상 실패(first-token recall failures)에서 비롯된다는 것을 발견했습니다. 즉, 모델이 잘못된 첫 토큰을 선택하지만, 올바른 첫 토큰을 제공받으면 답변을 완성하고 이를 올바른 것으로 인식하는 것입니다.

연구진은 이러한 현상을 분석하기 위해 첫 토큰 큐잉(First-Token Cueing)이라는 행동 탐색 방법을 사용했습니다. 이는 정답의 첫 토큰을 응답 앞에 미리 채워 넣어 모델의 예측을 유도하는 방식입니다. 모델의 불확실성은 첫 번째 답변 토큰에서 최고조에 달하며, 이 첫 토큰 하나만으로도 회복 가능한 오류의 가장 큰 부분을 차지합니다.

16개의 오픈 모델을 대상으로 한 실험에서, 이 단일 토큰은 영어 QA의 다중 토큰 답변에서 오류의 5분의 1에서 5분의 1 반을 수정했으며, 다국어 벤치마크의 일곱 언어 모두에서 정확도를 향상시켰습니다. 이러한 오류 수정의 대부분은 모델 자신의 샘플링 추론, 즉 인코딩된 지식에 의해 해결되었으며, 모델은 자신이 생성하지 않은 올바른 시작을 인식하고 더 자신감 있게 이어 나갑니다.

이 결과는 사실 오류의 한 종류가 디코딩 단계의 첫 번째 단계에서 회복 가능하며, 추론 시간 방법(inference-time methods)이 가장 큰 이점을 얻을 수 있음을 시사합니다. 따라서 추론 과정에서 첫 토큰을 활용하는 방법론이 오류 수정에 효과적일 수 있습니다.

최근 연구는 학습된 이미지 토크나이저 없이 픽셀 공간 손실을 이용한 종단 간 시각 생성도 경쟁력 있는 성능을 달성했음을 보였습니다. 이 연구는 시각 생성에 있어 언어 기반 감독이 픽셀 손실보다 더 풍부한 훈련 신호를 제공하는지 탐구합니다.

연구진은 이를 위해 LILIE(Language-Informed and Lossless Image Encoder)라는 언어 기반 및 손실 없는 이미지 인코더를 소개했습니다. LILIE는 가우시안 흐름 트랜스포머를 사용하여 비전-언어 모델이 노이즈가 있는 특징으로부터 캡션을 복구할 수 있도록 훈련된 가역적인 이미지 변환입니다. 이 인코더는 다음 토큰 예측을 통해 비전-언어 모델과 공동으로 훈련됩니다.

이 인코더를 활용하여 텍스트-이미지 생성에 대한 간단한 언어 기반 손실을 추출했습니다. LILIE 손실을 사용하여 JiT 모델을 훈련시킨 결과, GPIC 데이터셋에서 픽셀 전용 기준선 대비 gFD가 14점(66.84에서 53.01로) 감소하는 성과를 보였습니다. 관련 코드와 인코더, 생성 모델은 https://suchiragarwal.com/lilie에서 공개되어 있습니다.

거대 언어 모델(LLM)은 다양한 작업에서 인상적인 성능을 보였지만, 언어적 변화에 따른 논리적 추론의 일관성에는 여전히 한계가 있습니다. 현재의 벤치마크는 선택된 추론 작업에 대한 단일 정확도 수치만을 보고하기 때문에 모델의 추론 능력 일반화 능력에 대해서는 충분한 정보를 제공하지 못합니다. 이러한 한계를 극복하고 LLM의 추론 능력을 개선하기 위해서는 모델의 추론 능력을 정확하게 측정할 수 있는 새로운 평가 패러다임이 필요합니다.

이에 연구진은 모델이 문제의 가족 전체에 걸쳐 동일한 능력을 신뢰성 있게 적용하는지 테스트하는 경쟁 기반 평가(Competence-Based Evaluation, CBE)라는 새로운 평가 방식을 제안합니다. CBE는 요구되는 능력을 고정시킨 상태에서 복잡도를 조정하는 매개변수 생성기(parameterized generator)와 단일 형식 이상의 정확성을 테스트하는 일치된 답변 보존 제시(matched answer-preserving presentations)를 통해 구현됩니다.

이 평가를 기본 순서화 작업에 적용하여 여섯 개의 GPT 및 Qwen 모델에 대해 수행한 결과, 성능은 제한된 복잡도 범위 내에서 양호했지만, 강력한 모델들조차도 테스트된 가족 전체에서 능력 조건을 충족하지 못하는 것으로 나타났습니다. 이는 추론 능력을 확장하는 체인-오브-스텝(Chain-of-thought)이나 GRPO 방법이 일부 실패를 해결하지 못하며, 지도 학습 LoRA(supervised LoRA)는 충분한 전이 학습을 보여주지 않는다는 점을 시사합니다.

결론적으로 CBE는 향후 모델에 따라 확장될 수 있는 진단 프로파일과 평가 프로토콜을 제공하여 LLM의 추론 능력을 보다 포괄적으로 평가할 수 있는 기반을 마련합니다.

조건부 메모리(Conditional memory)는 선택적 조회를 통해 언어 모델의 용량을 확장하지만, 모든 가능한 입력에 대해 전체 임베딩 테이블이 유지되어야 하는 제약이 있습니다. 이에 연구진은 입력에 따라 요청된 행만 재구성하는 압축 표현인 조건부 프로그램(CP)을 제안했습니다.

CP는 각 행을 짧은 코드와 국소적인 스케일로 표현하며, 테이블 전체에 공유되는 재구성 프로그램을 사용합니다. 이 표현은 가우시안 트렐리스, 노름 복원, 독립적으로 디코딩 가능한 행 레코드를 사용하여 구현되었습니다. CP의 2비트 코드는 2비트 반올림 방식에 비해 출력 KL을 41%에서 63%까지 낮춥니다.

세 가지 훈련된 n-그램 메모리 패밀리에 대한 분석 결과, 가우시안과 유사한 좌표 통계가 행들 간의 학습된 관계와 공존하는 것으로 나타났습니다. 저장 공간이 일치하는 예산에서 공유 트렐리스는 피팅된 코드북이나 저랭크 잔차 변형보다 우수한 성능을 보였습니다.

특히 DeepSeek 모델의 경우, 이 방법은 테이블 저장 공간을 203GB에서 51GB로 줄여 GPU에 테이블을 유지하면서도 더 큰 워크로드를 처리할 수 있는 여지를 제공합니다.

자기회귀 트랜스포머가 토큰을 생성하면서 프롬프트의 정보를 얼마나 유지하는지에 대한 연구 결과가 제시되었습니다. 두 프롬프트의 차이가 오직 프롬프트 자체에서만 발생하도록 설정했을 때, 두 상태 간의 거리는 $t^{-\alpha}$라는 거듭제곱 법칙에 따라 감소하며, 여기서 $\alpha=1$은 고정된 프롬프트의 균일한 주의(attention) 점유율이 줄어드는 속도를 나타냅니다.

이 연구는 프롬프트의 영향력이 컨텍스트가 증가함에 따라 기하급수적으로 희석되는 기하학적 메커니즘을 증명하며, 이를 조건부 무머 정리(conditional no-hair theorem)라고 명명합니다. 즉, 생성된 텍스트가 주어졌을 때 프롬프트의 영향력은 $t$가 커짐에 따라 사라지므로, 프롬프트가 살아남는 속성, 예를 들어 언어적 특성은 생성된 텍스트 자체에 담겨 있어야 함을 의미합니다.

모델이 프롬프트를 잊는 속도는 학습 여부에 따라 달라지는데, 학습된 모델은 빠르고($\alpha \approx 0.55-0.7$), 학습되지 않은 모델은 느리게($\alpha \approx 0.2-0.5$) 망각하는 것으로 나타났습니다. 이러한 희석 현상을 상쇄하기 위해 로짓 편향(logit bias)을 적용하면 학습 초기에 망각을 멈추고 이후에는 역전시킬 수 있습니다. 이는 망각이 측정되는 데 필요한 희석이 필수적이며, 학습되지 않은 네트워크와 해가 가능한 모델 모두에서 충분함을 보여줍니다.

멀티모달 대규모 언어 모델(MLLM)의 안전성은 후처리 정렬이나 활성화 방향 설정을 위해 안전하지 않은 멀티모달 데이터에 의존하지만, 이러한 데이터는 수집이 어렵고 윤리적, 법적 우려를 야기합니다. 이 연구는 LLM 백본에서 직접 추출된 텍스트 거부 방향이 이미지나 비디오와 같은 다른 모달리티에 걸쳐 일반화되는지 조사했습니다.

예비 결과는 이러한 일반화 능력이 있음을 확인했지만, 그 효과는 레이어 선택, 방향 강도, 그리고 교차 모달 정렬에 의해 조건화되며, 특히 후자의 경우 안전한 멀티모달 입력이 잘못 거부 방향으로 유도될 수 있다는 점을 발견했습니다. 이를 해결하기 위해 연구진은 멀티모달 안전 데이터 없이도 멀티모달 안전성을 주입하는 경량의 학습 없는 접근 방식인 멀티모달 비특정 거부 방향 제어(Modality-Agnostic Refusal Steering, MARS)를 제안했습니다.

MARS는 활성화 중심(activation centering)을 통해 모달리티 불일치를 수정하고, 기하학적으로 정의된 신뢰 영역 내에서 방향 강도를 적응적으로 조정하며, 첫 번째 생성된 토큰에서 작동하는 최적의 개입 레이어를 선택하여 멀티모달 안전성을 주입합니다. 다섯 가지 최신 MLLM에 대해 안전성, 유용성, 비디오 자이랭크 테스트를 통해 평가한 결과, MARS는 과도한 거부까지 허용하면서도 유용성을 보존하며 일관된 안전성 향상을 달성했습니다.

이 연구는 안전과 관련된 구조가 모달리티 전반에 걸쳐 공유되며, 텍스트 거부 방향이 멀티모달 정렬을 위한 강력하고 덜 탐구된 기반임을 보여줍니다. 이는 MLLM의 안전성을 데이터 수집의 제약 없이 향상시킬 수 있는 새로운 방법을 제시합니다.

오픈 엔드 검색과 파운데이션 모델을 결합한 접근 방식은 알고리즘 개선, 수학적 문제 해결, 자가 개선 에이전트 등의 발전을 이끌었습니다. 이 패러다임을 의사결정 추천으로 확장하여, 선택 가능한 옵션은 고정되어 있지만 선택 이유가 불확실한 상황에 초점을 맞춥니다. 예를 들어, 인수 대상 회사 선정이나 고객 타겟팅과 같은 고위험 결정에서는 단일 순위 목록보다 다양하고 합리적인 옵션을 비교하는 것이 더 유용합니다.

연구진은 오픈 엔드 추천을 각 항목에 선택 이유를 포함한 다양하고 고품질의 추천 세트를 구축하는 것으로 공식화합니다. 이를 위해 QD-Rec이라는 품질-다양성 방법론을 제안했는데, 이는 컨텍스트 배간트(contextual bandit)를 사용하여 항목을 선택하고 아카이브에 보관된 이전 항목들을 발판으로 파운데이션 모델로부터 가설을 생성하는 방식입니다.

새로운 추천 항목은 해당 항목이 참신하거나 가장 가까운 이웃보다 더 나은 경우에만 아카이브에 추가됩니다. 이 방법은 M&A, 고객 타겟팅, 논문 및 도서 추천 등 다양한 설정에서 가장 높은 평균 품질을 달성하며 가장 큰 아카이브를 구축합니다.

거대 언어 모델(LLM) 에이전트의 코딩 성능은 환경과의 상호작용을 중재하는 정책 모델과 하네스(harness)에 의해 공동으로 결정됩니다. 현재 하네스와 정책은 서로 강화하며 진화하는데, 한쪽만 최적화하는 것은 비효율적입니다. 예를 들어, 특정 체크포인트에 맞춰진 하네스는 업데이트된 정책의 실패 모드를 목표로 하지 못하며, 정책 학습은 고정된 하네스가 유발하는 궤적에만 국한됩니다.

이에 연구진은 자가 개선 프레임워크인 Self-HPO를 제안했는데, 이는 에이전트의 정책과 하네스를 교대로 최적화하는 재귀적 방법입니다. 이 방법은 진화하는 정책을 하네스 제안자로 사용하여, 각 라운드마다 현재 정책이 자신의 실패를 분석하여 새로운 하네스 후보를 제안하고 이를 기반으로 강화 학습(RL)을 통해 정책을 업데이트합니다. 이 과정을 통해 하네스 최적화가 정책의 진화하는 실패 모드를 목표로 하도록 하여 하네스 최적화의 방향성을 설정합니다.

Self-HPO는 세 가지 코딩 벤치마크에서 하네스 전용 및 정책 전용 기준 모델을 일관되게 능가하며, Qwen3.5-35B-A3B의 평균 해결률을 57.8%에서 64.8%로 향상시켰습니다. 또한, 최적화된 두 구성 요소는 기본 구성 요소와 쌍을 이루었을 때도 이득을 유지하며, 그 공동 이득은 개별 이득의 합보다 큽니다. 이 프레임워크는 신뢰도(Pass@1)를 개선하고 능력 경계(Pass@k)를 확장하며, 외부 모델(예: Opus 4.8)을 하네스 제안자로 사용할 경우 추가적인 성능 향상을 보였습니다.

자기 지도 단일 시점 깊이 추정(self-supervised monocular depth estimation)은 레이블 없는 데이터로 확장할 수 있는 잠재력이 있지만, 기존 방법들은 다양한 장면에서 학습할 때 성능이 저하되는 문제가 있었습니다. 연구에 따르면, 자기 지도 학습 과정에서 모델은 전이 가능한 장면 기하학 대신 데이터셋 특유의 구조적 편향을 인코딩하는 경향이 있어 도메인 간 최적화 충돌이 발생합니다.

이 문제를 해결하기 위해 연구진은 MaSS 프레임워크를 제안하며, 이는 자기 지도 깊이 학습을 다양한 데이터에 확장 가능하게 만드는 것을 목표로 합니다. MaSS는 문맥적 특징과 명시적으로 분리된 전용 구조 표현 경로를 도입하며, 새로운 장면 구조 식별 목표를 통해 깊이 디코딩을 위한 일반화되고 레이아웃 인식적인 구조 표현을 학습합니다.

MaSS는 네 가지 다양한 데이터셋에서 개별적 및 공동 학습을 통해 기존의 자기 지도 방법들보다 월등히 우수한 성능을 보였으며, 혼합 도메인 학습에서 일관되게 이점을 얻는 최초의 연구입니다. 또한, 여덟 개의 추가 데이터셋에 대한 제로샷 평가를 통해 특히 완전히 분포 외(out-of-distribution) 장면에서 뛰어난 일반화 능력을 입증했습니다. 이 연구의 소스 코드는 https://mias.group/MaSS에서 공개되어 있습니다.

거대 언어 모델(LLM) 에이전트가 전문가의 사전 재구성이 없이 원본 고객 자료에서 직접 전문가 수준의 운영 연구(OR) 솔루션을 제공할 수 있는지에 대한 평가를 위해 새로운 벤치마크가 제시되었습니다. 기존의 OR 벤치마크는 자체 설명이나 사전 정의된 최적화 과제로 시작하여 실제 비즈니스 자료를 전문적으로 검증된 솔루션으로 변환하는 과정을 충분히 반영하지 못했습니다.

연구진은 유료 OR 계약 총액 368만 달러에 해당하는 10개 산업 시나리오에서 31개의 사례를 포함하는 엔드투엔드 벤치마크인 OR-License를 도입했습니다. 이 벤치마크는 정보 비식별화 후에도 원본 요구 사항, 입력 데이터, 결과물 형식 및 정보 경계를 보존합니다. 또한 정보 획득을 연구하기 위해 OR 전문 지식 없이 비즈니스 사실만을 공개하는 통제된 고객 시뮬레이터인 ORSim을 소개했습니다.

배포 조정 품질(Deployment-Adjusted Quality, DAQ) 지표는 실현 가능성을 확인하고 고객이 수용했던 전문가 솔루션과 객관적인 품질을 비교하며, 실현 불가능한 결과물에는 0점을 부여합니다. 여러 최첨단 LLM을 사용하여 평가한 결과, 일부 모델은 조건부 목표 품질에서 전문가 참조치를 초과했지만 DAQ에서는 이를 달성하지 못했습니다. 가장 강력한 Claude Code 구성은 88.39%의 엄격한 실현 가능성과 전문가 참조치 1에 대한 0.87의 DAQ를 달성했습니다.

추가 분석 결과, 정보 획득은 명확화 단계를 넘어 솔루션 개발과 검증으로 확장되며, 후기 단계에서 문제 해결 비율이 더 높게 나타났습니다. 궤적 분석은 공식화 및 구현 실패를 식별하며, 평가 가능한 과제에 대한 작업 균등화 연구 체인 완료율은 모델에 따라 24%에서 45% 사이를 기록했습니다. 이러한 발견은 신뢰할 수 있는 장기 에이전트를 위해 지속적인 정보 격차 해결, 충실한 문제 공식화, 그리고 증거 기반의 자체 개선이 필요함을 시사합니다.

멀티모달 대규모 언어 모델(MLLM)은 전체 이미지에 대한 질문에는 잘 답하지만, 세밀한 영역 이해에는 여전히 어려움을 겪고 있습니다. 이는 텍스트 기반 지도 학습이 어떤 영역이 답변을 뒷받침하는지 명시하지 않기 때문에 발생하는 문제입니다. 이러한 격차를 해소하기 위해 Xiaomi-Lens-0을 제시하며, 이는 Qwen3.5를 기반으로 구축된 4B 규모의 MLLM으로 자체 시각 표현으로부터 마스크를 예측합니다.

Xiaomi-Lens-0의 핵심은 경량 디코더를 통해 비전 인코더 패치 특징, 시각 잠재 표현(visual latents), 언어 모델의 마스크 토큰 상태를 결합하여 추가적인 분할 인코더 없이 마스크 지도 학습이 공유 백본까지 도달하게 하는 것입니다. 각 잠재 표현이 마스크로 디코딩되므로 모델은 영역별 잠재 표현과 추론을 교차하여 생각할 수 있으며, 이는 체인-오브-사고 과정에서 방문하는 영역을 지도화하여 추론을 감독합니다.

이러한 접근 방식의 결과로 Xiaomi-Lens-0은 RefCOCO, RefCOCO+, RefCOCOg의 여덟 가지 분할에서 Qwen3.5 대비 참조 이해도에서 평균 5.6점을 향상시켰습니다. 또한 비교 모델들 중에서 가장 높은 분할 cIoU를 달성했으며, 모든 지각 벤치마크에서 Qwen3.5를 능가하는 성능을 보였습니다.

자연어로부터 완전하고 일관성 있으며 사용 가능한 3D 실내 장면을 생성하려면 높은 품질의 장면을 설계하고 그 품질을 비판할 수 있는 강력한 디자인 지능이 필요합니다. 기존 접근 방식들은 도메인 특화 경험이 부족한 범용 모델에 의존하거나 정적인 장면에서만 학습하는 한계를 가지고 있습니다. 이에 본 연구는 설계 및 비판 경험을 통해 디자인 지능을 학습하는 에이전트 프레임워크인 Scene-Designer를 소개합니다.

이를 위해 연구진은 두 가지 데이터셋을 구축했습니다. 장면 설계와 효율적인 오류 수정을 학습하기 위한 관찰-사고-행동(Observation--Thought--Action) 감독을 제공하는 Scene-OTA-35K와 물리적 타당성, 기능적 정확성, 레이아웃 일관성에 걸친 품질 비판을 학습하기 위한 관찰-사고-비평가(Observation--Thought--Critic) 감독을 제공하는 Scene-OTC-15K입니다. 이러한 경험을 바탕으로 설계 결정을 개선하고 불필요한 시행착오 수정을 줄이는 Critic 기반 GRPO 프레임워크인 Scene-GRPO를 제안했습니다.

실험 결과 Scene-Designer는 물리적 타당성, 기능적 정확성, 레이아웃 일관성 측면에서 우수한 성능을 달성했으며, 학습된 Scene-Critic은 장면 비판에서 범용 모델을 크게 능가했습니다. 또한 테스트 시점의 Critic 가이던스는 훈련을 넘어 유용한 지침을 제공하여 장면 생성을 더욱 개선함을 보여줍니다. 이는 장면 설계 능력과 비판 능력 사이에 상호적인 향상 추세가 있음을 시사합니다.

멀티턴 이미지 편집은 단일 편집보다 인간과 AI의 협업에 더 잘 맞추어 이미지를 수정하는 것을 목표로 합니다. 하지만 기존의 순차적 롤아웃 방식은 오류를 누적시키고 편집 단계마다 시각적 품질 변화(visual-quality drift)를 유발하여 고품질의 멀티턴 학습 데이터 구축에 어려움이 있었습니다.

이러한 문제를 해결하기 위해 연구진은 패킹된 궤적 캔버스(Packed Trajectory Canvas, PTC) 생성을 중심으로 구축된 멀티턴 이미지 편집 데이터셋인 MTEdit을 소개했습니다. 이 파이프라인은 통일된 시각적 맥락 내에서 여러 편집 상태를 공동으로 생성함으로써 편집 단계 간의 시각적 품질 변화를 줄입니다. MTEdit은 단계별 편집 및 맥락 인지 편집 시나리오를 모두 포함하며, 최대 8턴, 평균 5.38턴의 멀티턴 이미지 편집 궤적을 포함하는 50만 개의 데이터로 구성되어 멀티턴 편집을 위한 가장 광범위한 데이터셋 중 하나입니다.

또한, 연구진은 모델의 지침 준수 능력, 내용 일관성 유지, 시각적 품질 변화 저항, 그리고 턴 간의 역사적 맥락 효과적인 사용을 평가하기 위해 MTEdit-Bench라는 벤치마크를 개발했습니다. 이 데이터셋을 사용하여 Qwen-Image-Edit-Causal을 미세 조정하여 Qwen-Image-MTEdit를 얻었으며, MTEdit-Bench에서 다양한 오픈소스 및 클로즈소스 이미지 편집 모델을 평가했습니다. 실험 결과, Qwen-Image-MTEdit가 평가된 오픈소스 모델 중에서 최고의 성능을 달성하여 MTEdit이 모델의 멀티턴 이미지 편집 능력을 향상시키는 데 효과적임을 입증했습니다.

학술 논문을 단일 포스터로 압축하는 작업은 요약, 시각 디자인, 코드 구현을 동시에 요구하는 시각 코딩의 축소판입니다. 하지만 이러한 작업에 대한 벤치마크는 부족하며, 기존 자원들은 레이아웃 박스만으로 주석 처리되어 있어 객관적인 비교가 어렵습니다. 또한 기존 생성 방법들은 인간이 제작한 포스터를 검색 가능한 디자인 라이브러리나 검증된 지도 데이터로 활용하지 못하는 한계가 있었습니다.

이에 연구진은 시각 코딩 과제로서의 논문-포스터 생성에 대한 데이터셋 및 벤치마크인 RAP(Reconstruct A Poster)을 소개합니다. RAP은 2022년부터 2026년까지의 다양한 머신러닝 컨퍼런스에서 수집된 25,000개 이상의 검증된 논문-포스터 쌍을 포함하며, 세 단계의 콘텐츠 분류 체계로 주석이 달렸습니다. 또한 150개의 테스트 논문과 그에 해당하는 인간 포스터를 포함하는 벤치마크도 제공합니다.

이 시스템은 포스터를 스타일이 적용된 HTML/CSS의 채워 넣을 수 있는 슬롯으로 변환하는 완전 자동화된 디렌더링 파이프라인을 사용합니다. 이를 통해 모든 샘플은 원본 포스터에 대해 렌더링을 통해 검증 가능한 논문-포스터-마크업 삼중항이 됩니다. 이 데이터는 추론과 훈련 모두에 사용되는데, 레이아웃이나 스타일을 건드리지 않고 예시를 검색하여 슬롯을 채우는 훈련 없는 멀티 에이전트 파이프라인인 PosterRAG와 SFT+RL 레시피를 통해 전용 모델을 훈련시킵니다.

이러한 방법론을 통해 개발자들은 RAP 데이터셋을 활용하여 포스터 생성 모델을 훈련하거나, PosterRAG를 통해 포스터 정보를 효율적으로 재구성하는 데 사용할 수 있습니다. 온라인 데모는 https://reconstruct-a-poster.github.io/에서 확인할 수 있습니다.

새로운 연구에 따르면, Looped 언어 모델에서 재귀 배치, 입력 주입, 재귀 상태 조직과 같은 설계 축을 분리하여 분석한 결과가 나왔습니다. 이 연구는 이러한 설계 원칙이 실제 양자화된 파라미터 기반 혼합 전문가(MoE) 모델에도 적용될 수 있는지 테스트했습니다.

연구 결과, Prelude-recurrent block-coda sandwich 아키텍처는 컨텍스트 추출 및 추론 집약적 작업에서 성능을 일관되게 향상시킵니다. 또한, 입력 주입은 지식 검색 및 컨텍스트 활용을 개선하는 반면, 무작위 초기화나 분리된 재귀 상태는 성능에 혼재되거나 부정적인 결과를 가져왔습니다.

이러한 분석을 종합하면 Huginn 스타일의 설계가 유리하다는 결론이 도출되었습니다. 730M 파라미터 및 336B 토큰 규모에서 전체 Huginn 아키텍처는 Ouro를 모든 벤치마크에서 능가했습니다. 특히 8BA0.8B 규모에서 500B 토큰으로 훈련된 모델은 지식, 추론, 코딩을 포괄하는 거의 모든 벤치마크에서 Ouro를 능가했으며, 전문가 라우팅의 균형도 더 잘 보였습니다.

또한, 동일한 훈련 및 추론 FLOPs 하에서 Huginn 스타일 모델은 112 레이어 피드포워드 MoE 기준 모델보다 75% 적은 고정 파라미터를 사용합니다. 물리적 파라미터는 더 작지만, Huginn 모델은 DROP 및 GSM8K에서 피드포워드 기준 모델을 능가하고 MATH500에서는 일치하며 다른 벤치마크에서도 경쟁력을 유지합니다.

AI 에이전트가 전문적인 결과물을 생성하기 위해 파일과 소프트웨어 도구를 점점 더 많이 사용하고 있습니다. 이러한 작업은 과제 전반에 걸쳐 축적된 자료, 결정, 피드백을 기반으로 이루어집니다. 이에 연구진은 지속적인 조직 작업에서 발생하는 과제와 맥락을 기반으로 하는 생성 시뮬레이션 프레임워크인 OfficeTown을 소개합니다.

OfficeTown은 조직의 목적과 활동에 대한 자연어 설명으로부터 조직을 초기화하며, 조직 구성원들이 작업을 조정하고, 보조 에이전트에게 제한된 과제를 위임하며, 결과물을 검토하는 과정을 시뮬레이션합니다. 이 과정에서 산출물, 결정, 해결되지 않은 문제들이 지속적으로 남아 후속 작업에 영향을 미치며, 책임과 권한은 각 구성원이 볼 수 있고 할 수 있는 것을 결정합니다. 연구진은 이러한 작업 요청, 맥락, 피드백을 평가 및 학습을 위한 실행 가능한 자원으로 정리했습니다.

연구진은 8개 전문 영역에 걸친 23개의 시뮬레이션된 조직에서 406개의 과제와 4,836개의 평가 기준을 포함하는 OfficeTown 벤치마크를 구축했으며, 도메인 전문가의 피드백을 통합했습니다. 이 데이터를 활용하여 Qwen3.5-9B 모델에 지도 미세 조정(Supervised fine-tuning)과 온-폴리 정책 증류(on-policy distillation)를 적용한 결과, 외부 전문 작업 벤치마크인 GDPval에서 상당한 개선을 보였습니다.

또한, 보조 에이전트(assistant) 구조는 단일 에이전트 및 다중 에이전트 기준보다 더 높은 점수를 달성했습니다. 이러한 결과는 일반화된 에이전트의 지속적인 발전을 위해 작업 기반 데이터와 환경을 생성하는 조직 시뮬레이션의 가치를 강조합니다.

비디오 월드 모델의 메모리 테스트는 장면 설정 여부, 요청된 변경 사항 실행 여부, 마지막 프레임의 결과 표시 여부를 모두 포함하는 방식으로 진행되어 왔습니다. 현재 테스트는 이러한 요소들을 하나의 점수로 통합하여 낮은 점수가 단순히 망각으로 해석되기 쉬우며, 변경 사항이 실행되지 않으면 숨겨진 상태 전환이 나타나지 않아 메모리 테스트로서의 실효성이 떨어집니다.

이에 연구진은 변경 사항과 모델이 남겨야 할 메모리를 분리하는 평가 방법인 MIST를 도입했습니다. MIST는 모델이 변경 사항을 숨긴 채 장면을 설정한 후, 나중에 변경 사항을 보여주도록 요청하여 누출을 제어합니다. 이 분리를 통해 모델이 장면은 설정했지만 요청된 변경 사항을 실행하지 못하는 병목 현상을 정확히 찾아낼 수 있습니다.

이러한 분석을 바탕으로 모델이 요청된 지시 사항을 성공적으로 수행하도록 입력 지시 사항의 세부 내용을 재귀적으로 수정하는 M3-Agent(Make the Missing Move)를 제안했습니다. M3-Agent는 기준선 대비 MIST 노출 점수를 세 배 이상 향상시켰으며, WRBench의 점수 T는 26.1%, MBench-T의 점수 U는 52.7% 상승했습니다.

이 방법은 실행 측면에서 문제를 해결하며, 고정된 모델이 움직임이 명시된 후 무엇을 할 수 있는지 보여주고 더 엄격한 기준선을 설정합니다. 이는 비디오 월드 모델의 메모리 실패를 진단하고 개선하는 데 중요한 진전을 제공합니다.

최근 폐쇄형 이미지 생성 시스템은 단순한 구도부터 정보 밀도가 높은 그래픽까지 다양한 시각 콘텐츠를 생성할 수 있지만, 오픈 가중치 텍스트-이미지 모델은 여전히 복잡한 텍스트와 정교한 레이아웃 처리에서 어려움을 겪고 있습니다. 이러한 격차를 줄이기 위해 고화질 시각 합성 능력과 의도 인지 기반 구성을 결합한 오픈 생성 시스템인 MOSS-Image를 소개합니다.

MOSS-Image는 먼저 잘 설계된 레시피를 사용하여 5B 싱글 스트림 확산 트랜스포머(DiT)를 처음부터 사전 학습시켜 이중 언어 장문 텍스트 렌더링과 정밀한 레이아웃 제어를 가능하게 합니다. 또한, 다양한 사용자 요청을 상세한 콘텐츠 및 레이아웃 사양으로 변환하는 의도 인지 에이전트 프롬프트 강화(PE) 모듈을 개발하여 텍스트 풍부하고 레이아웃이 일관된 이미지를 생성할 수 있게 합니다.

이 시스템은 장문 영어 및 중국어 텍스트 렌더링을 평가하기 위한 LongLongTextBench(LLTB)와 엔드투엔드 레이아웃 풍 생성 평가를 위한 RealLayoutArena(RLA)를 추가로 도입했습니다. MOSS-Image는 LLTB에서 평균 96.3%의 텍스트 커버리지를 달성하며 오픈 가중치 모델 중 최고 성능을 보였습니다. RLA에서는 전체 시스템 비교에서 두 번째 순위를 차지했으며, 공유된 강화 프롬프트를 사용한 생성기 중 백본(backbone)이 첫 번째 순위를 기록했습니다.

연구와 커뮤니티 발전을 촉진하기 위해 MOSS-Image 모델, 학습 레시피, 평가 프레임워크를 공개할 예정입니다.