읽을 가치가 있는 기사만, 짧고 또렷하게.

코딩 에이전트의 성능을 평가하기 위한 새로운 벤치마크인 EvoWeb이 소개되었습니다. 이 벤치마크는 실제 웹 애플리케이션 개발 과정처럼 기존 구현을 확장하는 연속적인 요청을 기반으로 하며, 32개의 웹 애플리케이션에 걸친 총 320개의 누적 요청을 포함합니다. EvoWeb은 실제 제품 기능에 기반하고 기능 종속성 그래프로 구조화되어, 에이전트가 지속적으로 코드베이스를 수정하는 과정에서 발생하는 복잡한 통합 능력을 측정합니다.

이 벤치마크는 멀티모달 웹 에이전트가 실시간 브라우저에서 각 중간 애플리케이션을 테스트하며 새로 요청된 기능, 요청 간 통합, 그리고 이전에 요청된 기능을 평가하는 방식으로 작동합니다. 개발 과정 전반의 신뢰성을 측정하기 위해 고정된 중지 기준 대신 사용자 허용 범위에 따른 궤적 성능을 통합하여 평가합니다.

실험 결과, EvoWeb은 오픈소스 및 클로즈드소스 최전선 모델 간에 명확한 성능 차이를 드러냈으며, 특히 요청 간 통합이 주요 도전 과제로 나타났습니다. 또한, 후반 요청에서 종속성이 더 깊거나 많아질수록 해결 정확도가 떨어지고 연속적인 요청에서 런타임 오류가 더 자주 발생하는 것으로 분석되었습니다.

결론적으로 EvoWeb은 장기적이고 다중 요청 기반의 개발에서 코딩 에이전트를 평가하고 개선하기 위한 테스트베드를 제공합니다. 이는 에이전트가 복잡한 실제 환경에서 연속적인 개발 작업을 수행하는 능력을 측정하는 데 중요한 기준이 될 것입니다.

관계 학습은 일반적으로 데이터베이스 상태로부터 예측하지만, 의사 결정은 특정 행동에 따라 상태가 어떻게 변화할지 예측하는 다른 질문을 요구합니다. 운영 시스템에서는 이 변화가 데이터베이스 자체에는 보이지 않는 시스템 특유의 역학에 따라 달라지기 때문에, 각 시스템을 관계적인 '세계'로 간주하고 관찰된 실행으로부터 어떻게 행동하는지 추론할 수 있는지 질문합니다.

연구진은 사전 학습을 위한 실행 가능한 관계적 세계를 생성하는 TabWM(Tabular World Model)과 WorldRel을 소개합니다. TabWM은 보지 못한 세계의 실행을 컨텍스트로 사용하여 매개변수 업데이트 없이 새로운 행동으로 인해 발생하는 희소한 구조적 편집을 예측합니다.

512개의 홀드아웃 세계에 걸쳐 이 방법은 놀라운 결과를 보였는데, 실행이 전혀 없는 경우 완전 편집 F1 점수는 0.016에서 64개의 실행이 있는 경우 0.685로 상승했습니다. 여기서 올바른 편집은 해당 연산, 관계적 위치, 그리고 값을 일치시켜야 합니다.

이러한 예측은 명시적인 관계적 편집이기 때문에 후보 미래를 상상하고 행동을 취하기 전에 비교하기 위해 재귀적으로 적용될 수 있습니다. 예측된 미래에 대한 광범위한 탐색은 선택된 행동 시퀀스의 실현된 수익을 개선합니다. 결과적으로 관계적 역학을 컨텍스트 내에서 학습할 수 있으며, 관계 학습을 시스템 상태 모델링에서 상태가 행동에 따라 어떻게 변화하는지 모델링하는 것으로 확장합니다.

LLM 기반 멀티 에이전트 시스템을 안정적으로 배포하기 위해서는 관찰된 실행 접두사로부터 최종 결과를 예측하는 런타임 감사자(runtime auditor)가 필요합니다. 이러한 감사자들은 일반적으로 검증된 결과가 있는 제한된 궤적(trajectory) 데이터셋을 통해 학습합니다. 하지만 데이터셋을 확장하려면 비용이 많이 드는 실행 및 검증 과정이 필요하며, 단순히 더 넓은 실패 범위를 확보하는 것만으로는 현재 감사자가 분류하기 어려운 접두사를 식별할 명시적인 기준을 제공하지 못합니다.

이에 연구진은 자체 예측 손실에 의해 안내되는 암묵적 증강(implicit augmentation)을 통해 훈련되는 런타임 감사자인 Dream2Discern을 제안합니다. Dream 단계에서는 감사자의 표현 연산자(representation operators)에 대한 교란을 선택하여 기록된 접두사에 대한 예측 손실을 증가시키고, 이를 통해 어려운 잠재 변이체(hard latent variants)를 생성합니다. Discern 단계에서는 감사자가 이 변이체들을 사용하여 원래 레이블로부터 실행 결과를 예측하도록 학습합니다. 이 과정에서 변이체는 감사자가 학습함에 따라 재생성되어 제한된 데이터셋을 새로운 어려운 예제의 재생 가능한 소스로 전환하며 추가적인 궤적 수집이나 결과 검증이 필요 없습니다.

Dream2Discern은 AFTraj-2K와 StepShield에 대한 광범위한 평가에서 경쟁적인 실패 감사자들을 능가하며, 예측 정확도와 시의적절성을 균형 있게 유지하면서 두 벤치마크 모두에서 90% 이상의 궤적 수준 가중 정확도를 달성했습니다. 이는 멀티 에이전트 시스템의 신뢰성 확보에 있어 제한된 데이터로도 강력한 실패 예측 능력을 확보할 수 있는 새로운 방법을 제시합니다.

자율 발견을 확장하는 데 있어 평가 비용이 근본적인 병목으로 작용하고 있습니다. 실제 환경에서 전체 벤치마크나 서빙 추적과 같은 단일 참 평가를 수행하는 데는 몇 시간이 걸리기 때문에, 검색 시스템은 소수의 참 평가만 감당할 수 있습니다. 이러한 문제를 해결하기 위해 연구진은 최적화 목표와 진행 상황을 효율적으로 평가하는 방법을 동시에 발견하는 검색 시스템인 DuoDiscover를 제시했습니다.

DuoDiscover는 세 가지 메커니즘을 통해 효율성을 달성합니다. 코딩 에이전트 군집 내의 각 작업자는 최적화 목표와 빠르고 맞춤화된 대리 평가자, 즉 야드스틱(yardstick)을 공동으로 발견합니다. 에이전트는 실제 평가 대신 이 야드스틱을 따라 탐색하며, 검색은 야드스틱과 실제 목표 사이의 격차를 활용하여 지속적으로 각 야드스틱의 순위를 재확인하고 표류하는 것을 무효화하는 충실도 테스트를 수행합니다. 또한, 이 시스템은 중앙 집중식 분해 없이 에이전트를 관리하는 경량 오케스트레이터를 통해 하향식으로 작동합니다.

이 시스템은 소프트웨어부터 칩 아키텍처에 이르는 자율 최적화를 가능하게 하며, SWE-fficiency에서는 인간 전문가의 평균 속도 향상 효과를 두 배로 높였습니다. 또한 SOL-Exec에서는 235개의 커널 중 121개에서 1위를 차지하고 212개에서 상위 3위에 올랐습니다. 특히, vLLM 및 SQLite 엔진에서 DuoDiscover는 기본 코드 대비 1.92배와 1.38배의 성능 향상을 달성했습니다.

28시간에 걸친 CPU 마이크로아키텍처 최적화 작업에서는 DuoDiscover가 AlphaEvolve 기반의 ArchAgent v2와 최고의 인간 설계 모두를 능가했습니다. 이는 16.7일 만에 1.65배의 성능 향상을 달성하여 40일 이상 걸리는 작업 대비 자율 칩 설계의 최전선을 발전시킵니다.

게임 'Around The World'의 하늘과 구름 렌더링을 개선하는 과정에서 빛 산란 및 대기 효과에 대한 심층적인 기술적 접근이 공유되었습니다. 개발자는 기존의 povray 룩업 테이블(LUT)이 다중 산란(multiple scattering)을 제대로 시뮬레이션하지 못한다는 의문을 제기하고, 이를 확인하기 위해 Rust로 직접 재귀 몬테카를로 레이 트레이서를 구현했습니다. 이 커스텀 렌더러를 통해 다중 산란 효과를 적용하자 구름의 빛 분포가 더 균일해지고 전반적으로 더 밝고 부드러운 외관을 얻을 수 있었습니다.

구름이 주변 환경의 간접광을 받는 현실적인 표현을 위해, 개발자는 구름 표면의 법선 벡터(normal)를 조작하는 방법을 탐구했습니다. 법선 벡터를 위쪽 하늘 방향으로 설정했을 때 구름이 하늘과 더 잘 어우러지며 더 부드럽고 먼 느낌을 주었고, 일몰 시에는 직접광의 붉은색과 간접광의 푸른색이 혼합되어 분홍빛을 띠는 사실적인 색감을 구현했습니다.

또한, HDR 환경에서 디스플레이에 적합한 색상을 얻기 위해 톤 매핑(tone mapping) 기법을 적용했습니다. 개발자는 Godot 엔진 내에서 Filmic 톤 매퍼를 사용하고 화이트 포인트를 2.0으로 설정하여 구름에 부드러운 외관을 부여하는 데 성공했습니다. 이 과정에서 톤 매핑 설정이 장면 조명에 영향을 미치므로, 최종 결과물을 얻기 위해 톤 매퍼와 장면 조명을 함께 조정하는 반복적인 작업이 필요했습니다.

마지막으로, 현실적인 낮밤 주기를 구현하기 위해 행성의 자전과 달의 움직임을 시뮬레이션하는 오레리(orrery) 모델을 엔진 내에 구축했습니다. 이를 통해 위치와 계절에 따른 일출과 일몰 시간을 계산하여 현실적인 시간 순환을 구현하는 데 활용했습니다.

강화 학습과 검증 가능한 보상(RLVR)은 일반적으로 프롬프트당 작은 롤아웃 그룹을 사용하며, 이는 동일한 정책에서 반복 샘플링이 매우 유사한 궤적을 생성하여 그룹 내 보상 변화를 줄이고 그룹 상대적 이점 신호를 약화시킵니다. 기존의 해결책들인 샘플링 온도 증가, 엔트로피 보너스, 비대칭 클리핑, 또는 더 큰 롤아웃 예산은 샘플링을 확장하거나 정책 업데이트를 수정하지만 롤아웃 조건화는 그대로 둡니다.

본 논문에서는 앵커 노이즈를 통한 임베딩 공간 방향 탐색(EDEN)을 제안하며, 이는 앵커 입력 교란을 통해 롤아웃 소스에 개입합니다. EDEN은 정책 자체의 롤아웃을 넘어 탐색을 수행하며, 동일한 롤아웃 예산 내에서 각 그룹의 표준 롤아웃 중 일부를 프롬프트만으로 생성된 것이 아니라 프롬프트에 추가된 단일 교란된 임베딩 위치를 통해 동일 정책이 생성한 롤아웃으로 대체합니다.

가우시안 노이즈가 변화를 유도하는 반면, 공유된 앵커는 각 프롬프트 그룹 내에서 공통적인 조건화 방향을 제공합니다. 이러한 교란된 롤아웃은 가중치가 조정된 이점을 사용하여 GRPO 업데이트에 기여하며, 모델 아키텍처, 이산 디코딩, 테스트 시간 추론은 변경되지 않습니다.

모델 규모와 수학적 추론 벤치마크 전반에서 EDEN은 GRPO 및 동일 파이프라인에서 평가된 탐색 제어보다 우수한 성능을 보였으며, 특히 샘플된 해의 커버리지에서 가장 큰 이득을 얻었습니다. 분석 결과, 더 많은 프롬프트 그룹이 0이 아닌 그룹 상대 학습 신호를 제공하며 노이즈와 앵커링이 상호 보완적인 역할을 한다는 것을 보여줍니다. 따라서 롤아웃 소스에 개입하는 것이 RLVR에서 탐색을 위한 효과적인 수단이 될 수 있습니다.

에이전트 벤치마크의 난이도를 높이면서 핵심 과제 목표는 유지하는 환경 스케일링 방법론을 연구했습니다. 이 연구는 기존 벤치마크 환경을 보존하면서 정보 접근, 자원 관계, 실행 의존성을 변경하는 재귀 환경 스케일링(Recursive Environment Scaling, RES) 프레임워크를 제시합니다. RES는 실행 기반 검사를 통해 변경 사항을 검증하고 승인된 변경 사항을 라운드별로 상속함으로써 관련 환경을 생성하여 쌍별 평가와 훈련 궤적 수집을 가능하게 합니다.

이 프레임워크를 294개의 초기 과제에 실험한 결과, 여섯 가지 평가 모델 모두에서 작업 성공률이 감소했습니다. 특히 Claw-Eval-Live에서는 57.14%에서 77.14% 포인트까지 성공률이 감소했습니다. 이는 환경 스케일링이 에이전트 평가의 난이도를 높이는 데 효과적임을 보여줍니다.

또한, 동일한 궤적 수와 최적화 설정을 유지했을 때, RES 궤적을 사용한 미세 조정(fine-tuning)이 원래 궤적 SFT보다 모든 아홉 가지 모델 및 벤치마크 비교에서 7.00%에서 14.61% 포인트 더 나은 성능을 보였습니다.

분석 결과에 따르면 재귀적 상속과 의존성 구성이 난이도를 높이는 데 중요한 기여 요인으로 밝혀졌습니다. 따라서 환경 스케일링은 에이전트 평가와 훈련 모두에 유용하게 활용될 수 있습니다.

로봇 조작 분야에서 사전 학습된 비전-언어 모델(VLM)과 비디오 생성 모델(VGM)을 활용하여 일반화된 작업을 수행할 수 있지만, 기존의 통합 모델들은 공유 어텐션을 통해 이들을 직접 융합하여 각 모델의 전문적인 능력을 활용하기 어렵다는 한계가 있었습니다. 이에 연구진은 예측 의도(Predictive Intent)를 공유하면서도 전문가별 경로를 보존하는 통합 모델인 PINT를 제안합니다.

PINT는 VLM 시퀀스에 학습 가능한 의도 토큰을 삽입하여 이 표현을 형성하고, 이를 통해 VGM과 행동 전문가(Action Expert, AE) 모두를 조건화합니다. PINT는 VGM의 프롬프트 조건화만 대체하며 추론 시에는 VGM을 유지하고 AE가 단방향 어텐션을 통해 그 표현을 읽도록 설계되었습니다. 이 모델은 VLM, VGM, AE의 내재된 예측 목표로부터 의도를 공동으로 학습하여 상호 보완적인 시각을 제공합니다.

PINT는 신체 내 사전 학습 없이도 강력한 분포 내(ID) 성능을 달성하고 분포 외(OOD) 일반화를 크게 개선했습니다. RoboTwin 2.0-Hard에서는 Fast-WAM(1.8%) 및 StarVLA(3.2%)에 비해 15.5%의 ID 성능을 보였으며, LIBERO-Plus에서는 51.5%와 75.0%에 비해 79.5%의 ID 성능을 달성했습니다. 또한 다섯 가지 실제 이중 손 작업에서 PINT는 사전 학습된 Motus(35%/9%) 및 $\pi_{0.5}$(67%/35%)에 비해 68%의 ID 성공률과 24%의 OOD 성공률을 기록했습니다.

프레젠테이션 슬라이드를 생성하고 편집하는 작업에는 정확한 텍스트 렌더링, 지시 사항 준수, 시각적 근거 설정, 미적 디자인, 그리고 정밀한 편집 능력을 하나의 캔버스 내에서 결합하는 모델이 필요합니다. 기존 연구들은 이러한 능력의 일부만을 다루며 대규모 슬라이드 기반 감독 및 진단 평가가 부족한 상황입니다.

연구진은 이 문제를 해결하기 위해 네 가지 슬라이드 중심의 태스크를 설정하고 1300만 건 이상의 지속적인 사전 학습 기록과 190만 건의 지도 미세 조정 기록을 포함하는 확장 가능한 데이터 엔진을 구축했습니다. 또한, 모든 태스크를 다차원적으로 평가하는 1,527개의 수동 검토 인스턴스로 구성된 VisSlideBench라는 벤치마크를 도입했습니다. 이 벤치마크의 자동 순위는 블라인드된 인간 순위와 일치하며, 이를 통해 통합된 9B 슬라이드 생성 및 편집 모델인 InfoVis를 훈련시켰습니다.

InfoVis는 VisSlideBench에서 평가된 모든 오픈소스 모델 중 11가지 지표에서 선두를 차지하며, Nano-Banana-2 모델에 대해 7.94점의 종합 점수를 기록했습니다. FLUX.2-klein-base-9B에서 시작하여 슬라이드별 후처리 학습을 적용했을 때, 콘텐츠 충실도에서 가장 큰 생성 이득을 얻었으며, 독점 모델과의 격차는 콘텐츠 충실도에서 가장 작고 미적 품질에서 가장 큽니다.

나아가 InfoVis를 기반으로 한 문서-슬라이드 워크플로우는 외부 SlidesGen-Bench에서 두 번째로 높은 미적 점수를 달성했습니다. 연구팀은 이 모델, 코드, 데이터, 그리고 벤치마크를 공개할 예정입니다.

정보 추출 모델은 학습 데이터셋에서 잘 작동하지만, 새로운 도메인과 주석 가이드라인으로 전이하는 데는 여전히 어려움이 있습니다. 사용자 지정 유형만으로는 이 문제를 해결할 수 없기 때문에, 본 논문은 데이터셋과 스키마 전반에 걸쳐 엔티티, 관계, 이벤트 추출을 위한 통합된 0.6B 파라미터 인코더인 CalOn을 제시합니다.

CalOn은 텍스트와 유형 정의를 공동으로 인코딩하여 엔티티 범위, 범위 간의 관계, 이벤트 트리거 및 인수를 직접 식별합니다. 추출 결정은 요청된 유형들을 함께 고려하여 관련 후보를 식별한 후 유형을 할당함으로써 세 가지 작업에 공통된 확률적 공식화를 제공하며, 모든 추출된 언급은 입력 텍스트에 고정됩니다.

모델은 다양한 소스로 학습되었으며, 올바른 추출을 장려하고 잘못된 추출을 벌점화하는 보상 시스템을 통해 지도 학습을 보완했습니다. 40개의 벤치마크에서 CalOn은 평가된 기준 모델들을 능가했으며, 보고된 모든 관계 추출 벤치마크에서 선두를 차지했습니다.

또한 CalOn은 범위 쌍 공식화를 통해 속성 감정 삼중항 추출 및 대명사 해결에서도 강력한 성능을 보입니다. 학습 과정에서 도입된 확률 편향을 보정하는 작업은 보정 후 엔티티, 관계 및 이벤트 인수에 대한 신뢰도 추정치를 개선하며 F1 점수에 큰 변화를 주지 않았습니다.

선형 시간 시퀀스 모델은 긴 컨텍스트 정보를 순환 상태에 저장하지만, 고정된 크기의 상태는 저장할 수 있는 정보의 양을 제한합니다. 또한, 더 나은 회상을 위해 전체 어텐션을 추가하는 하이브리드 아키텍처는 이차적인 시퀀스 비용을 발생시킵니다. 이러한 문제를 해결하기 위해 지속적인 사전 학습(CPT)을 활용한 희소 어텐션(sparse attention)을 통해 유효 컨텍스트 길이를 확장하는 방법이 제시되었습니다.

연구진은 이러한 한계를 극복하고자 FreeSolo라는 새로운 희소 어텐션 메커니즘을 도입했습니다. FreeSolo는 단거리 슬라이딩 윈도우 브랜치와 직접 토큰 어텐션을 위해 키포인트 셀을 선택하는 장거리 브랜치를 갖는 고유한 구조를 가지고 있습니다. 이 FreeSolo의 선형 시간 변형인 FS-L은 짧은 CPT를 통해 쿼리 의존적 선택 이전에 접두사를 가지치기하는 방법을 학습합니다.

또한 FS-B는 래딕스 정렬 구성(radix-sort construction)을 포함하여 O(Nlog^2 N)의 알고리즘 비용으로 균형 잡힌 트리를 탐색합니다. FreeSolo는 긴 컨텍스트 미세 조정 없이도 기존 기준 모델보다 더 나은 제로샷 길이 외삽(zero-shot length extrapolation) 성능을 입증했습니다.

비전-언어 모델이 카메라의 좌우 움직임을 판단하는 문제에 대해 CameraVLM을 제안하며 새로운 접근법을 제시했습니다. 기존의 VLM들은 시각적 퍼즐이나 긴 영상을 처리하는 능력은 뛰어나지만, 카메라의 움직임 방향을 묻는 질문에는 동전 던지기와 다를 바 없는 성능을 보였습니다.

연구진은 카메라 움직임 이해를 위해서는 두 가지 조건이 동시에 충족되어야 한다고 주장합니다. 첫째, 표현 방식이 화면 밖 카메라 움직임과 화면 안의 흐름 역학을 결합해야 하며, 둘째, 이 정보는 독립적인 자세나 깊이 추정기로 훈련되는 것이 아니라 언어 모델에 의해 해석되어야 합니다.

이를 위해 CameraVLM은 모션 상태 표현과 상태-언어 정렬을 결합하는 방식을 제안합니다. 카메라 토큰은 화면 밖으로의 카메라 움직임을 포착하고, 흐름 토큰은 화면 안의 피사체와 배경의 움직임을 포착합니다. 이 두 가지 정보를 함께 학습하기 위해 두 단계 훈련 전략을 사용하여 언어의 맥락을 유지합니다.

90억 개의 파라미터만을 사용한 CameraVLM은 세 가지 벤치마크와 20개 이상의 기준 모델에서 모든 오픈소스 및 모션 특화 모델을 크게 능가했습니다. 또한 48명의 참가자 연구에서 GPT-6 Astra 및 인간 시청자들과 동등하거나 더 나은 성능을 입증했습니다.

StartLux-Decision은 효율적인 단일 패스 예측과 적응형 신뢰도 기반 추론을 결합한 0.8B에서 27B 파라미터 규모의 의사결정 모델을 소개합니다. Instant 모델은 양방향 어텐션을 사용하여 추론 효율성을 유지하면서 의사결정 정확도를 높이며, AutoThink 모델은 불확실한 결정에 대해 명시적인 추론을 유도합니다. 이 모델들은 세 단계의 훈련 파이프라인을 통해 공유된 의사결정 능력을 확립하고, 강화 학습과 추론 감독을 통해 AutoThink 모델에 추론 능력을 부여했습니다.

특히, 강화 학습을 통한 보정된 숙고 결정(RLCD²)을 도입하여 고정된 모델과 적절한 채점 규칙을 사용하여 결정 확률의 품질 향상을 보상하고 긴 추론 흔적에 소프트 페널티를 적용했습니다. 이 방법은 추론 흔적이 생성 한계 내에서 종료되는 비율을 최대 48퍼센트 포인트 높이고 평균 추론 길이를 최대 65퍼센트 줄이면서도 결정 정확도를 대부분 유지합니다.

또한, 대조 쌍에서 차이를 두는 계산적 결정을 기반으로 하는 프로그램적으로 검증 가능한 벤치마크인 DecisionPivot을 소개합니다. DecisionPivot에서 AutoThink 모델은 Instant 모델보다 쌍 정확도에서 11.5~18.4퍼센트 포인트 더 우수하며 평가된 시스템 중 선두를 차지했습니다.

이 모델들은 vLLM, llama.cpp, MLX 위에서 실행되며 메모리 사용량을 줄이기 위해 양자화된 변형도 제공합니다. Decision Index 0.3의 공개 부분 집합에서 Instant 모델은 가장 강력한 비교 규모 오픈 웨이트 의사결정 모델보다 7.4~16.9퍼센트 포인트 더 높은 성능을 보였으며, 27B AutoThink 모델은 73.4에 도달했습니다.

지식 기반 시각 질문 응답(VQA)은 보이는 이미지 내용을 넘어선 외부 상식과 사실적 지식을 요구하기 때문에, 최근 대규모 언어 모델(LLM)을 지식 소스로 활용하는 방식에서 이러한 지침을 얼마나 깊이 통합해야 하는지에 대한 질문이 제기되고 있습니다. 이 연구는 Llama~3.3~70B를 사용하여 구조화된 추론 지침, 시각 초점 개념, 방해 요소 및 외부 지식을 생성하고, OK-VQA 벤치마크에서 통합 전략을 비교했습니다.

연구진은 통합의 깊이가 더 깊을수록 우수하다는 기존의 가정과는 달리, 얕은 수준의 후기 융합(shallow late fusion)이 가장 강력한 결과를 달성한다는 것을 발견했습니다. 구체적으로, 지침이 없는 기준선 대비 39.4%의 정확 일치율과 10.0%의 향상을 보였으며, 이는 데이터가 부족한 미세 조정 환경에서 깊은 어텐션 수정(deep attention modification) 방식(31.8%)보다 우수했습니다.

또한 연구팀은 질문 패러프레이징을 통해 훈련 데이터를 10배 이상 확장하는 LLM 기반 증강 파이프라인을 추가로 기여했습니다. 이 결과는 지식 통합의 깊이는 데이터 체제에 맞춰 조정되어야 한다는 점을 시사하며, 모델 성능을 극대화하기 위해서는 통합 깊이와 데이터 환경 간의 균형이 중요함을 보여줍니다.

과학 분야의 생성적 발견을 위해서는 높은 수준의 과학적 추론 능력과 설계 공간의 구조를 존중하며 샘플을 생성하는 능력을 결합해야 합니다. 현재 이러한 능력들은 분리되어 있는데, 기반 LLM은 광범위한 화학 및 생물학적 지식을 인코딩하는 반면, 도메인 특화된 흐름 기반 및 확산 기반 생성기는 유효한 시퀀스와 기하학을 생성하는 데 필요한 사전 지식을 포착합니다.

연구진은 실험 과학에서 종종 사용 불가능하거나 학습된 예측기에서 제대로 포착되지 않는 명시적인 프록시 보상 없이 이러한 과학 생성기를 고수준의 자연어 발견 목표에 정렬하는 방법을 연구했습니다. 이를 위해 LLM-to-Flow Distillation(LFD)이라는 방법을 제안했는데, 이는 고정된 LLM을 도메인 특화된 생성기의 적응형 교사로 활용합니다. 예를 들어, '항암 활성이 있는 펩타이드 생성'과 같은 목표가 주어지면, 교사는 흐름의 현재 능력에 대한 인식을 바탕으로 중간 목표의 커리큘럼을 구성하고 이를 원래의 발견 목표로 점진적으로 유도합니다.

이 과정에서 LLM은 각 라운드에서 현재 목표에 따른 샘플 후보를 평가하며, 이러한 판단은 DPO(Direct Preference Optimization)를 통해 생성기로 반복적으로 증류됩니다. 이 절차는 초기 모델이 최종 목표를 만족하는 설계에 대해 미미한 확률만 부여하더라도 밀도 높은 학습 신호를 제공하여, 잘 덮이지 않은 분포나 외 분포 영역으로 적응할 수 있게 합니다.

실제 치료용 펩타이드 및 저분자 구조 설계에 대한 실험 결과는 LFD가 새로운 형태의 생성 제어를 가능하게 함을 입증합니다. 이는 임의의 도메인 특화된 과학 생성기를 고수준의 자연어 목표를 통해 표현되는 과학적 발견 작업에 정렬할 수 있게 합니다.

실제 데이터에서 모델 불확실성을 평가하는 것은 각 인스턴스가 단 하나의 관측 레이블만을 제공하기 때문에 참 조건부 클래스 확률을 알 수 없다는 어려움이 있습니다. 이를 해결하기 위해 확률벤치(ProbabilityBench)라는 벤치마크가 소개되었는데, 이는 동료 검토, 비밀 정보 전달, 신용 위험과 같은 세 가지 시뮬레이션된 텍스트 기반 도메인에 걸쳐 정확한 인스턴스별 클래스 확률을 제공합니다.

확률벤치는 각 환경에 대한 전체 데이터 생성 과정을 명시적으로 정의함으로써 정확한 클래스 확률과 베이즈 오류를 분석적으로 계산합니다. 또한, 이러한 사례들을 자연어 메모로 변환할 때 그 근본적인 생성 확률이 엄격하게 보존된다는 이론적 보장을 제공합니다. 이러한 정확성 덕분에 KL 발산을 통해 보고된 확률 품질을 직접 측정할 수 있게 됩니다.

이 프레임워크는 16개의 평가된 모델을 대상으로 하며, 관찰된 비용-품질 파레토 경계에 있는 대부분의 모델은 Jev나 Perplexity Decider와 같은 의사결정 모델입니다. 나아가 확률벤치는 알려진 정답 값을 활용하여 표준 보정 지표와 베이즈 오류 추정량 자체의 정확성을 측정하는 메타 평가 프레임워크 역할을 수행합니다.

오디오-비주얼 생성 분야에서 음향과 시각 정보의 동기화는 여전히 해결해야 할 과제로 남아 있습니다. 생성된 음성과 시각 이벤트가 시간적으로 불일치하는 문제가 발생하며, 이는 인간 주석 데이터, 신뢰할 수 있는 평가 벤치마크, 그리고 동기화 인식 평가 모델의 부족에서 기인합니다.

이러한 한계를 극복하기 위해 연구진은 데이터, 벤치마킹, 보상 모델링을 포괄하는 연구를 수행했습니다. 먼저, 여덟 가지 오디오-비주얼 생성기에서 나온 클립에 대한 80K개의 전문가 동기화 평가 점수를 포함하는 SyncReward-Data-80K 데이터셋을 구축했습니다. 이 데이터셋은 음성, 시작점(Onset), 악기(Instrument), 주변 환경(Ambient)의 네 가지 사운드 이벤트 가족을 다루는 분류 체계를 기반으로 구성되었습니다.

또한, 여러 전문가가 독립적으로 평가한 1K 클립으로 구성된 SyncReward-Bench 벤치마크를 구축하여 특화된 동기화 측정 지표와 옴니모달 모델의 인간 판단과의 불일치를 체계적으로 평가했습니다. 최종적으로, 연구진은 실제 클립에 대한 의미론적-시간적 대조 사전 학습과 생성된 클립에 대한 인간 감독을 결합한 보상 모델인 SyncReward를 개발했습니다.

SyncReward는 평가 지표로서 평가된 방법들 중 인간 평가와 가장 강력한 일치를 달성했으며, 추론 시 최적의 N개 선택과 훈련 후 강화 학습을 통해 동기화를 개선하는 보상으로 활용될 수 있습니다. 이 데이터, 벤치마크, 모델 및 코드는 https://github.com/WeChatCV/SyncReward에서 공개됩니다.

OpenCode 2.0은 수백만 명의 일일 사용자 경험을 바탕으로 에이전트가 필요로 하는 모든 것에 유연하게 대응할 수 있는 시스템을 제공하는 대대적인 개편입니다. 이번 업데이트는 새로운 기능, 성능 개선, 버그 수정 외에도 사용자 경험에 직접적인 영향을 미치는 여러 변화를 포함하고 있습니다.

이번 개편의 핵심은 서버가 기기에서 단일 백그라운드 프로세스로 실행되며, 클라이언트, 웹 인터페이스, 데스크톱 앱이 모두 동일한 중앙 프로세스를 공유한다는 점입니다. 또한, 프로그램적인 클라이언트(@opencode/client)를 사용하면 로컬 서비스를 자동으로 발견하여 스케줄링 작업 등에 활용할 수 있으며, CLI 명령어를 통해 다른 애플리케이션과 연결하는 기능도 추가되었습니다.

API는 수백만 사용자의 사용 사례를 검토하여 처음부터 재구성되었기 때문에 이제 거의 모든 작업을 수행할 수 있도록 지원합니다. 세션 관리 기능이 크게 개선되어 불안정한 테스트 세션을 중지하고 격리하거나, 현재 세션을 다른 작업 공간으로 이동시키는 등의 복잡한 작업이 가능해졌습니다.

나아가 코딩 에이전트의 능력을 극대화하기 위해 최소한의 JavaScript 인터프리터를 포함하는 Code Mode가 도입되었으며, 백그라운드 작업 기능이 추가되어 에이전트가 다른 서브에이전트나 비동기 셸 명령어를 실행하며 작업을 오케스트레이션할 수 있게 되었습니다. 개발자는 이 변화를 통해 플러그인 시스템, SDK, 그리고 서버 API의 변경 사항을 확인하고 시스템을 마이그레이션할 준비를 해야 합니다.

옴니모달 대규모 언어 모델(Omni-LLMs)은 언어와 함께 시각, 오디오, IMU 신호와 같은 이질적인 양식을 처리할 수 있지만, 종종 비텍스트 양식의 정보를 인식하더라도 이를 표현하지 못하는 현상이 발견되었습니다. 연구진은 이러한 불일치를 '알지만 말할 수 없는(knows-but-cannot-say)' 것으로 명명하고, 이를 조사하기 위해 개별 양식 표현과 응답 표현 간의 정렬을 측정하는 토큰 수준 양식 정렬(Token-level Modality Alignment, TMA)을 도입했습니다.

분석 결과, 비텍스트 표현은 응답 토큰과의 정렬이 낮고 텍스트 표현보다 덜 주목받는다는 사실이 밝혀져 양식 선호도의 불균형에 대한 잠재적인 설명을 제시합니다. 이에 따라 연구진은 원본 양식 입력에 자체 생성된 텍스트를 보완하여 비텍스트 지식을 더 접근 가능하게 만드는 단순한 추론 전략인 OmniCatalyst를 제안했습니다.

OmniCatalyst를 적용한 결과, 일곱 가지 Omni-LLM에서 성능이 지속적으로 향상되었으며(+7.29%), 양식 선호도가 더욱 균형을 이루는 것으로 나타났습니다. 또한 지식 추출 단계가 TMA를 증가시킨다는 추가 분석을 통해 정렬 개선이 응답 생성 중 비텍스트 정보를 더 쉽게 접근하도록 만듭니다.

결론적으로 이 연구는 Omni-LLM이 언어를 통해 양식 지식을 어떻게 더 잘 표현할 수 있는지 밝혀냈으며, 관련 코드는 GitHub에서 공개되어 있습니다.

비전-언어-행동(VLA) 모델은 세계 지식과 이해를 활용하여 장기 꼬리(long-tail) 시나리오에서 뛰어난 성능을 보이며 자율 주행에 큰 잠재력을 가지고 있습니다. 하지만 현재 VLA 모델은 두 가지 주요 한계를 가지고 있는데, 하나는 저지연을 위해 직접 행동을 생성하는 회귀/흐름 기반 방법이 VLM 이해를 충분히 활용하지 못해 안전하지 않고 설명 불가능한 행동을 유발한다는 점입니다. 다른 한계는 추론 시 VLM 이해를 완전히 활용하는 자기회귀(autoregressive) 방법이 체인-오브-사고(CoT)와 행동 토큰을 순차적으로 생성하여 지연 시간이 길어 배포를 어렵게 한다는 점입니다.

이러한 문제를 해결하기 위해 연구진은 생성과 이해를 통합한 자율 주행 VLA 모델인 AUGUstus를 제안했습니다. AUGUstus는 확산 기반 행동 생성과 자기회귀적 CoT 이해를 하나의 모델로 통합하며, 이해는 오직 생성을 돕는 역할만 수행하도록 설계되었습니다. 특히, CoT 감독을 통해 공유 표현 내에서 VLM 공간 이해를 보존함으로써 더 안전하고 정확한 궤적을 확보합니다.

AUGUstus는 행동 생성을 CoT보다 먼저 수행하도록 모델을 구성하여 훈련 중에는 CoT가 신뢰할 수 있는 행동을 감독하도록 하면서 추론 시에는 행동 출력만 필요하게 함으로써 낮은 지연 시간 배포를 가능하게 합니다. 실험 결과, AUGUstus는 NAVSIMv1에서 94.6 PDMS, NAVSIMv2에서 90.7 EPDMS를 달성하며 스코어러 모듈이 없는 최적의 계획 성능을 보였습니다. 또한 nuScenes 데이터셋에서는 평균 L2 오차 0.27m와 평균 충돌률 0.05%를 기록하여 비교 대상 방법들 중 가장 우수한 성능을 보였습니다.

실제 적용 가능성을 검증하기 위해 연구진은 512개의 NVIDIA H800 GPU를 사용하여 자체 데이터로 2일 동안 훈련하고, 내부 1,000km 데이터셋으로 평가했으며, 실제 차량에 예비 배포하여 12Hz의 작동을 달성했습니다.