읽을 가치가 있는 기사만, 짧고 또렷하게.

확산 트랜스포머를 이용한 비디오 생성 모델에서 어텐션 연산은 배포 비용의 주된 원인이 되므로, 정확성과 속도를 모두 만족하는 저비트 커널이 필수적입니다. 기존의 저비트 양자화 방식은 값의 이상치(outliers)로 인해 정확도가 제한되며, 소프트맥스 연산 과정에서 발생하는 지수 함수 계산 때문에 속도가 저하되는 문제가 있었습니다.

이에 연구진은 값 평활화(Value smoothing)와 융합 확률 캐스팅(fused probability Cast)을 결합한 새로운 훈련 불필요 저비트 어텐션 프레임워크인 VC-Attention을 제안했습니다. V-Smooth는 가중치 토큰을 온라인 클러스터링을 통해 재배열하여 값의 이상치를 줄이고, ExpCast-FP8은 지수 함수 계산을 제거하고 단일 곱셈-덧셈으로 로그 도메인 점수를 E4M3 확률 코드로 직접 매핑하여 속도를 향상시킵니다.

VC-Attention은 B200, B300, H200, RTX PRO 6000, RTX 5090 등 다양한 하드웨어에서 구현되었으며, Wan2.2, LongCat-Video, HunyuanVideo-1.5, MiniMax-H3 모델에서 저비트 기준선보다 높은 충실도를 달성했습니다. 특히 데이터센터 GPU에서는 BF16 FlashAttention-4 대비 1.46~1.59배, 워크스테이션 카드에서는 2.3~3.6배의 어텐션 커널 속도 향상을 보였으며, 전체 생성 시간은 1.13~1.19배 및 1.36~1.70배 더 빨라졌습니다.

과학적 에이전트가 증거를 종합하고 제안을 평가하며 새로운 설명을 개발함으로써 가설 발견에 기여합니다. 최근 시스템들은 비판, 비교, 수정을 통해 진화적 탐색과 과학 에이전트를 결합하지만, 에이전트 협업의 형태가 가설 품질에 미치는 영향은 여전히 미해결 과제입니다. 이러한 질문에 답하기 위해서는 에이전트의 과학적 능력과 협업의 효과를 분리해야 하며, 가설을 결합하고 수정하며 유지하는 규칙을 지원하는 프레임워크가 필요합니다.

이러한 관점에서 연구진은 협업을 명시적으로 만드는 HypoEvolve를 제안했습니다. HypoEvolve는 가설 집단을 연속적으로 업데이트하는 세대별 유전 알고리즘을 사용하여 전문화된 대규모 언어 모델(LLM) 에이전트들을 조정합니다. 이 에이전트들은 기계론적 논증을 통합하고, 가정을 재고하며, 증거와 검증 가능성을 평가합니다. 각 세대는 과학적 판단과 새로운 제안이 집단을 어떻게 재구성하는지를 명시하여 가설 품질에 대한 협업 효과를 직접적으로 테스트할 수 있게 합니다.

연구진은 실험적, 유전적, 임상적 증거에 기반한 외부 측정치로 DepMap과 Open Targets를 변형하여 평가 기준을 설계했습니다. 그 결과 HypoEvolve는 34가지 암 유형에 걸쳐 여섯 가지 기준 모두에서 가장 높은 점수를 달성했습니다. 특히 DepMap 선택성은 가장 강력한 기준인 0.115 대비 0.171을 기록했으며, 이러한 개선 효과는 보류된 암 유형에도 일반화되었습니다.

HypoEvolve는 개별 모델을 넘어선 발견 능력을 달성하는 자율 과학의 비전을 발전시키며, AI 연구팀이 발견 능력을 향상시키는 데 기여합니다.

확산 언어 모델(dLLM)은 양방향 어텐션을 통해 마스킹된 토큰을 반복적으로 디노이징하여 텍스트를 생성합니다. 그러나 생성 청크를 넘어 추론을 확장하려면 일반적으로 이전 생성된 텍스트를 컨텍스트에 유지해야 하는 문제가 있습니다. 연구진은 이러한 텍스트를 지우면서도 고정된 크기의 상태만을 사용하여 추론을 계속할 수 있는지에 대해 질문합니다.

이를 해결하기 위해 연구진은 추론 진행 상황을 여러 생성 청크에 걸쳐 전달하도록 훈련된 고정 위치 토큰인 레지스터 토큰을 이 상태로 구현했습니다. 이 레지스터 토큰은 추론의 진행 상태를 담는 역할을 합니다. dLLM을 후처리 훈련하여 텍스트 청크를 디코딩하고 레지스터 값을 보존한 채 이를 지우며 프롬프트와 보존된 상태로부터 디코딩을 계속할 수 있도록 했습니다.

주요 비교에서 레지스터는 이산 텍스트 전달 방식보다 모든 벤치마크에서 더 우수한 성능을 보였습니다. 특히 수학에서는 최대 8.5점, 코드에서는 최대 19.5점의 성능 향상을 달성했습니다. 레지스터는 올바른 프로그램이 여러 청크에 걸쳐 나타나는 경계가 있는 코드 생성에 특히 효과적입니다.

나아가 레지스터는 장기 추론 작업에 대해 강화 학습을 통해 추가적으로 개선될 수 있습니다. 이는 dLLM이 복잡하고 장기적인 추론 과제를 더 효과적으로 처리할 수 있는 기반을 마련해 줄 것입니다.

본 논문은 에이전트 하네스(Agent Harness)를 통해 학습 없이(training-free) 신체 내비게이션을 통합하는 프레임워크인 HarnessVLN을 제시합니다. 이는 시각 관찰 해석, 공간 지식 축적, 행동 실행이 필요한 신체 내비게이션 문제를 해결하며, 기존의 학습 기반 방법이 가진 일반화 문제를 극복하고자 합니다.

HarnessVLN은 통합된 도구 인터페이스를 통해 지각, 검색, 접지, 내비게이션, 복구, 종료 과정을 조정하는 에이전트 하네스를 사용합니다. 이 하네스는 계획 제안을 공간 증거, 기하학적 실현 가능성, 하위 목표 일관성을 기준으로 검증하며, 구조화된 도구 피드백을 다음 결정에 통합합니다. 또한, 계층적 이벤트 메모리는 작업 진행 상황과 실행 이력을 추적하고, 영구적인 시공간 그래프는 재사용 가능한 공간 증거와 실패 주석을 유지하여 검증 및 복구를 가능하게 합니다.

이러한 구조는 교체 가능한 내비게이션 실행기(Navigation Executor)를 통해 검증된 목표를 실행 가능한 움직임으로 변환하여, 동일한 하네스 프로토콜로 지시 따르기와 객체 목표 내비게이션을 모두 지원합니다. HarnessVLN은 R2R, RxR, HM3D-v2, HM3D-OVON 등의 작업에서 각각 60.8%, 53.9%, 76.0%, 59.3%의 성공률을 달성하며, 이는 기존의 학습 없는 최고 성능(SOTA) 결과들을 능가합니다.

이 결과는 휴머노이드 배포 환경에서 HarnessVLN의 적용 가능성을 입증하며, 실제 환경에서의 신체 내비게이션 시스템 구축에 중요한 기반을 제공합니다.

최근 연구는 에이전트 하네스에 재귀적 자기 개선(RSI)을 적용하여 경험을 통해 실행 메커니즘을 개선하는 것을 확장했습니다. 하지만 일반화 가능한 하네스 RSI는 여전히 어려운 과제로 남아 있습니다. 하네스를 평가 벤치마크에서 발전시킬 경우 재사용 가능한 개선 사항과 벤치마크 특이적 적응을 구별하기 어렵고, 단일 궤적 업데이트는 체계적인 하네스 결함과 인스턴스별 추론 세부 사항을 혼동하여 새로운 작업으로의 전이가 잘 이루어지지 않는 수정 사항을 생성할 수 있습니다. 또한, 단일 하네스 내에서 반복되는 행동 결함을 국소화하기 어렵고 전체 하네스 최적화는 관련 없는 메커니즘을 얽히게 하여 귀인 및 검증을 복잡하게 만듭니다.

이에 연구진은 일반화 가능한 하네스 진화를 위한 벤치마크 분리, 대조, 모듈화 프레임워크인 ModularRSI를 제안합니다. ModularRSI는 동일한 작업에 대한 성공적인 궤적과 실패한 궤적을 대조하고 증거를 통합하여 반복되는 행동 결함을 식별합니다. 이 프레임워크는 에이전트 루프, 도구 사용, 관찰 관리, 컨텍스트 관리, 작업 완료 감지라는 다섯 가지 기능 모듈로 하네스를 분해합니다. 각 모듈은 제한된 수정 범위 내에서 독립적으로 진화한 후, 통합 단계를 거쳐 통일된 하네스로 결합하고 잠재적 충돌을 해결합니다.

벤치마크와 분리된 진화를 지원하기 위해 연구진은 다운스트림 평가 벤치마크와 분리된 외부 출처에서 2,000개의 실행 가능한 진화 작업을 선별했습니다. TB2.0 및 SWE-Bench Verified 실험 결과, 진화된 하네스는 보지 못했던 도메인 내 및 교차 도메인 작업에서 일관된 개선을 보였으며, 다른 기반 모델 간에도 전이됨을 확인했습니다.

오픈 웨이트 언어 모델의 안전 가드레일을 우회하는 기술인 거부 특징 절제(Refusal Feature Ablation, RFA)를 통해 안전 장치를 무력화할 수 있습니다. 이러한 공격에 대응하기 위해서는 일반적으로 새로운 체크포인트마다 계산 비용이 많이 드는 안전 파인튜닝이 필요합니다. 이에 본 연구는 기본 모델 파인튜닝 없이도 가능한 빠르고 사후 수정 가능한 가중치 편집 방어 기법인 방향 유인 최적화(Decoy Direction Optimization, DDO)를 제안합니다.

DDO는 절제 공격이 대조 추정기(contrastive estimators)에 의존한다는 기계적 통찰에 기반하여 작동합니다. 공격자가 거부 방향을 찾으려고 할 때, DDO는 네트워크의 MLP 뉴런에 고강도 비선형 유인 신호를 주입하여 공격자의 추정치를 손상시킵니다. 이를 통해 공격자는 실제 안전 메커니즘은 유지하면서 무해한 직교 특징을 절제하게 되어 공격 성공률(ASR)을 크게 낮춥니다.

연구진은 DDO가 표준 RFA 하에서 10% 미만의 ASR을 달성하며 여섯 가지 모델 패밀리에 걸쳐 효과를 입증했습니다. 특히 Llama-3-8B-Instruct 모델에서 DDO는 훈련된 방어 기법과 유사한 성능을 보였으며, 적응형 다단계 공격 하에서 최악의 경우 ASR을 58%에서 65%로 유지했습니다. 또한, Heretic 가중치 수준 공격의 ASR을 88.7%에서 18%로 감소시켰으며, 이는 훈련된 기준선 대비 구성당 최적화 비용이 30배에서 450배 낮다는 것을 의미합니다.

영상-언어 모델(VLM)이 보고서 정보를 얼마나 사용하는지 측정하는 ModaLens 연구는 보고서의 가용성이 이미지 민감도에 미치는 영향을 분석했습니다. 이 연구는 MedGemma-27B 모델을 사용하여 293명의 환자로부터 수집한 3,199개의 MIMIC-CXR 사례를 대상으로 수행되었으며, 각 사례당 14개의 질문에 대해 이미지 교체 실험을 진행했습니다.

연구 결과, 명시적인 답변 지시가 있을 때 보고서의 존재 유무에 따라 모델의 생성된 답변이 달라졌습니다. 보고서가 있는 경우 4.26%의 실험에서, 보고서가 없는 경우 20.94%의 실험에서 모델의 답변이 변화했습니다. 이는 환자 클러스터별로 16.7점의 쌍방향 증가를 보였으며, 95% 신뢰 구간은 15.6에서 17.7 사이로 나타났습니다. 즉, 보고서의 가용성은 이 프로토콜 하에서 이미지 교체 민감도를 감소시키는 것으로 나타났습니다.

이러한 결과는 보고서 기반 레이블을 사용하여 도출되었기 때문에 시각적 정확성에 대한 결론에는 한계가 있습니다. 하지만 이 방향성은 추가적인 두 모델 계보에서도 재현되었으며, 이는 보고서 정보가 VLM의 이미지 처리 방식에 미치는 영향을 이해하는 데 중요한 단서를 제공합니다. 연구에 사용된 코드와 정확한 프롬프트, 실행 기록은 GitHub에서 확인할 수 있습니다.

Orthrus는 고정된 자기회귀 백본을 사용하여 여러 토큰을 병렬로 생성함으로써 자기회귀 언어 모델 추론을 가속화하는 하이브리드 자기회귀-확산 아키텍처입니다. 이 모델의 핵심 주장은 모델 내부의 합의 메커니즘을 통해 손실 없는 추측 디코딩이 가능하며, 이는 자기회귀 모델과 동일한 출력 시퀀스를 생성한다는 것입니다.

저자들은 이 주장을 다양한 수치 정밀도 하에서 독립적으로 재현하고 검증했습니다. BF16 추론 하에서 12개 도메인의 1,190개 프롬프트에 대해 저자들의 체크포인트는 45%, 독립적으로 훈련된 모델은 43%에서 정확한 궤적 일치(exact trajectory matching)가 발생했습니다. 이러한 일치 확률은 참조 모델의 응답 조건부 퍼플렉시티와 강하게 연관되어 있음이 확인되었습니다.

이러한 궤적의 차이에도 불구하고 Orthrus는 다운스트림 lm-eval-harness 벤치마크에서 체계적인 성능 저하를 보이지 않았습니다. 반면, FP32로 궤적 평가를 반복했을 때 모든 평가된 프롬프트에서 정확한 궤적 일치가 달성되었습니다.

결론적으로 Orthrus의 실질적인 손실 없음은 수치 정밀도에 따라 달라지며, 정확한 궤적 동등성은 다운스트림 작업 성능과는 별도로 평가되어야 함을 시사합니다.

비디오 확산 모델은 확률적이며 제어가 어렵고 장시간 장면에서는 외관, 상호작용, 시간적 일관성이 흐트러지는 문제가 있습니다. 에이전트 기반 시각 창작은 명시적인 참조, 편집 가능한 3D 장면 또는 실행 가능한 게임 상태를 통해 안정적인 제어를 제공하지만, 객체나 캐릭터의 충실도를 보장하지는 못합니다. 이러한 두 요소를 결합하면 안정적이고 고품질의 생성을 가능하게 할 수 있습니다.

이러한 결합을 실현하기 위해 연구진은 320억 개의 공유 멀티모달 확산 트랜스포머를 기반으로 하는 네이티브 멀티모달 비디오 생성 프레임워크인 LynnReal-Omni를 발표했습니다. 이 프레임워크는 텍스트-비디오, 이미지 조건부 생성, 참조 기반 생성, 구조 제어, 편집, 손상된 비디오 복원, 장시간 비디오 생성 등 다양한 기능을 통합합니다. LynnReal-Omni는 외관 참조, 편집 가능한 3D 렌더링, 게임 녹화와 같은 이질적인 시각 입력을 받아 에이전트가 통합된 모델 내에서 시각적 조건을 구성할 수 있게 합니다.

또한, 연구팀은 실시간 렌더링을 위해 전용 270억 개의 Flash 공유 멀티모달 확산 트랜스포머를 훈련했으며, 비디오 정리, 피사체 연관, 멀티모달 주석 및 정렬 제어 구축을 위한 체계적인 데이터 파이프라인을 구축했습니다. 이 과정에서 100개의 프롬프트와 20개의 메트릭으로 구성된 MSAVP를 도입하여 지시 사항 준수, 그럴듯성, 시각적 품질, 시간적 행동, 오디오 조정을 분리하여 평가합니다.

LynnReal-Omni-Flash는 경량 VAE 디코더를 포함하여 모델과 디코딩 가속을 통해 추론 비용을 추가로 절감합니다. 한 대의 H100 GPU에서 22프레임 540p 비디오의 워밍업 생성 및 디코딩은 LynnReal-Omni에서 843ms, Flash에서는 377ms가 소요됩니다. 이러한 결과는 실시간 스트리밍 비디오 생성의 기반을 제공하며, LynnReal-Omni를 에이전트 시각 창작을 위한 통합적이고 제어 가능하며 효율적인 기반으로 만듭니다.

컴퓨터 사용 에이전트가 브라우저, 터미널, 파일 시스템 및 외부 서비스와 상호작용하면서 생성된 콘텐츠뿐만 아니라 런타임 행동을 통해 안전 위험이 발생하고 있습니다. 기존의 안전 가드 모델들은 정적인 프롬프트와 응답에 초점을 맞추기 때문에 에이전트 실행 환경에는 부적합하며, 실행 가능한 안전 플랫폼들은 가드 모델이 이질적인 에이전트 프레임워크 전반에서 학습해야 하는 정규화된 감독 대신 평가 판정만을 제공합니다.

이러한 격차를 해소하기 위해 실행 기반 프레임워크인 HazardAuditor가 소개되었습니다. 이 프레임워크는 Claude Code, Codex, Hermes, OpenClaw와 같은 이질적인 에이전트들을 통제된 환경에서 실행하고, 이들의 상호작용을 교차 프레임워크 감독을 위한 정규화된 이벤트 표현으로 통합합니다.

또한, 토큰 수준의 사후 훈련 목표는 생성형 가드 모델에 구조적 불일치를 야기하여 더 긴 추론 과정이 기울기 업데이트를 지배하게 만듭니다. 이에 대해 Guard Policy Optimization(GuardPO)은 결정론적인 안전 결과를 시퀀스 수준의 이점으로 변환하고 추론 및 판정 영역을 정규화하여 안전 결정을 최적화의 효과적인 단위로 만듭니다.

다수의 벤치마크와 이질적인 컴퓨터 사용 시스템에서 HazardAuditor는 가장 강력한 이전 가드 모델 대비 최대 16.5퍼센트 포인트의 정확도를 향상시켰습니다. 코드, 모델 및 평가 자료는 https://yunhao-feng.github.io/HazardAuditor/에서 확인할 수 있습니다.

디지털 에이전트는 사전 학습된 모델이 완전히 포착하지 못하는 새로운 환경의 인터페이스, 도구, 실패 모드에 적응해야 하는 과제를 안고 있습니다. 이에 따라 본 논문은 자율적인 메모리 구성을 통한 재귀적 자기 개선을 위한 학습 불필요(training-free) 멀티 에이전트 프레임워크인 RSIAgent를 소개합니다.

RSIAgent는 커리큘럼, 액터, 검증 에이전트를 조정하여 환경을 지속적으로 탐색하고 결과를 검증하며 환경 특화 지식을 보존합니다. 특히 행동, 조건, 결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 보존하는 데 중점을 둡니다. 또한 이 프레임워크는 광범위한 환경 구조를 발견하기 위한 병렬 광범위 재귀 탐색과 어려운 사례, 숨겨진 제약 조건, 경계 조건 및 이전에 알려지지 않은 인과적 의존성을 밝히기 위한 집중된 심층 자기 탐색을 결합하는 광범위-심층 탐색 전략을 채택합니다.

이렇게 구축된 메모리는 모델 매개변수를 업데이트하지 않고도 다운스트림 작업에 직접 재사용할 수 있도록 고정됩니다. OSWorld-v2 및 Agent's Last Exam 실험 결과에 따르면 RSIAgent는 강력한 오픈 소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3가 GPT-6을 포함한 최첨단 폐쇄형 모델보다 더 나은 성능을 보이게 했습니다.

네이티브 3D 생성 모델인 TRELLIS.2는 이미지를 단일 메시로 변환하여 고품질의 비밀폐형 지오메트리와 재질을 생성하지만, 결과물은 하나의 융합된 객체로만 나옵니다. 따라서 후속 작업인 편집, 리깅, 시뮬레이션 등은 파트 레벨의 에셋을 필요로 하는데, 이를 위해 생성된 융합된 메시에 3D 분할 네트워크를 적용하는 방식은 느리고 분할 정확도에 한계가 있습니다.

이러한 문제를 해결하기 위해 연구진은 O-Voxel 그리드가 두 파트가 만나는 인터페이스를 표현하지 못한다는 근본적인 문제점을 지적하고, 이를 해결하기 위해 이중 볼륨 표현(dual-volume representation)을 도입했습니다. 이를 기반으로 TRELLIS.2를 파트 레벨로 확장한 KaiNinja를 제안했는데, 이는 마스크나 분할기 없이도 파트 레벨에서 생성 속도와 품질을 유지합니다.

KaiNinja는 CAD 모델이나 LLM 기반 에이전트가 생성한 에셋 등 다양한 출처의 데이터를 학습하여 에이전트가 작성한 파트 데이터로 훈련된 최초의 3D 생성 모델이기도 합니다. 이 모델은 전체 객체의 충실도를 높이는 동시에, 다른 패러다임의 파트 생성 파이프라인 대비 전체 객체 체프머 거리(Chamfer distance)를 40% 낮추고 엄격한 파트 F-스코어(part F-score)를 16% 높이는 성과를 보였습니다.

기초 에이전트 언어 모델인 Atria Dawn Preview가 과학 연구 및 엔지니어링 워크플로우를 위해 소개되었습니다. 이 모델은 도구 기반 상호작용을 실행 가능한 환경 및 외부 검증 결과와 연결하는 검증 가능한 경험 파이프라인을 통해 훈련되었습니다.

Atria Dawn Preview는 실제 연구, 엔지니어링, 디지털 작업에 걸친 16개의 벤치마크에서 최첨단 에이전트와 경쟁할 수 있는 성능을 보였으며, 5개 벤치마크에서 가장 높은 점수를 기록했습니다. 단순히 단독 성능뿐만 아니라, 연구 및 개발 과정에서 인간과 AI의 협업 사례를 분석했습니다.

56명의 참가자로부터 769개의 작업 기록과 에이전트 로그를 분석한 결과, 참가자들은 AI 지원 작업의 약 3분의 1이 AI 없이는 불가능하다고 평가했습니다. 에이전트는 방법론을 제안하고 수정을 구현하는 반면, 인간은 최종 결정을 내리고 판단과 피드백을 통해 탐색을 안내하는 역할을 했습니다.

이러한 관찰 결과는 작업 수준의 실행에서 프로젝트 수준의 파트너십으로의 전환을 시사합니다. 따라서 더욱 자율적인 AI 연구를 위해서는 발견 능력과 의미 있는 인간 감독 능력을 모두 발전시켜야 하며, 지속적인 개발의 위험과 방향에 대한 책임 있는 인간 권한을 보존해야 합니다.

거대 언어 모델(LLM) 에이전트는 솔루션을 수정하고 도구를 사용하며 대안을 탐색하는 과정에서 테스트 시 컴퓨팅 자원을 적응적으로 할당합니다. 이러한 테스트 시 전략 때문에 에이전트 성능이 어떻게 확장되는지 측정하기가 어렵습니다. 연구진은 중간 제출물에 대해 연속적인 점수를 제공하는 오픈 엔드 태스크를 연구하여 이러한 진행 상황을 추적할 수 있게 했습니다.

이를 위해 연구진은 Elo-per-token 분석을 제안했는데, 이는 각 토큰 예산에서 발견된 최적의 솔루션을 추적하고 브래들리-테리 모델을 사용하여 서로 다른 점수 척도를 가진 태스크 간의 순위를 통합하여 Elo 평점으로 집계합니다. 독립 샘플링은 이론적으로 특성화된 기준점이며, 이 기준점에서는 Elo가 컴퓨팅에 대해 로그적으로 선형적으로 성장합니다.

에이전트는 이 기준점과 비교했을 때 초기에는 독립 샘플링보다 더 빠르게 토큰을 Elo로 변환할 수 있지만, 점진적인 이득은 감소하며 결국 기준점보다 낮아집니다. 반면, 가장 강력한 인간 참가자들은 공유된 AtCoder Heuristic Contest 태스크에서 대회 시간 대비 초선형적으로 개선되며 지속적인 학습과 상당한 여유 공간을 보여줍니다.

연구진은 이득이 독립 샘플링 기준점과 일치하는 지점을 세션당 예산으로 정의하며 이를 확장 지점이라고 명명했습니다. 이 지점을 세션당 예산으로 사용하여 FrontierCS Polyomino Packing 태스크에서 100M 토큰을 병렬 세션으로 나누었을 때, 한 긴 세션에서 264 Elo, 열 개의 짧은 세션에서 355 Elo를 획득했습니다.

바이브 디자인 에이전트는 자연어 브리프를 렌더링된 인터페이스와 프런트엔드 코드로 변환하지만, 유용한 디자인 에이전트는 하나의 유효한 페이지를 생성하는 것을 넘어 일관된 대안들을 탐색하도록 도와야 합니다. 단순히 토큰 레벨 온도를 높이는 것은 미적 결정과 구문 민감한 코드를 동시에 변화시키는 무딘 해결책이므로, 탐색과 구현을 분리하는 추론 아키텍처가 필요합니다.

이 접근 방식은 Verbalized Sampling에서 영감을 받아 디자인 방향을 명시적인 중간 결정으로 만드는 것을 목표로 합니다. 사전 패스에서 일반성 점수가 포함된 구조화된 디자인 사양을 제안하고, 외부 선택기가 그중 하나를 샘플링하며, 다운스트림 생성기는 고정된 설정 하에 선택된 사양과 원래 요청을 실현시킵니다. 이 방법은 UI 테마와 시각 자산 프롬프트에 적용되었습니다.

168개의 프롬프트와 각 개입에 대한 1,255쌍의 비교를 통해 테마 샘플링은 관찰된 선택 범위와 스크린샷 다양성을 넓혔습니다. 또한 LLM 심사관의 선호도는 개입, 프롬프트 복잡성, 뷰포트에 따라 달라지는 것으로 나타났습니다. 30만 건 이상의 작업이 포함된 온라인 실험에서는 코드 내보내기 증가가 통계적으로 불확실했지만, 부정적인 피드백 이벤트는 더 많은 수정 상호작용과 적절한 운영 비용과 공존했습니다.

결론적으로 이러한 연구 결과는 다운스트림 생성 설정은 고정된 상태에서 대안적인 UI 개념을 탐색하기 위한 실질적인 제어 지점으로 구조화된 디자인 사양을 식별해 줍니다. 이는 다양한 디자인 대안을 탐색하면서도 생성 품질을 제어하는 데 중요한 통제점을 제공합니다.

백도어 오염 공격은 모델이 특정 트리거에 반응할 때 목표 행동을 생성하도록 학습시키는 오염된 예시를 학습 데이터에 추가하는 방식으로 이루어집니다. 기존의 평가 방식은 오염된 예시의 수를 고정하고 후보 풀에서 무작위로 샘플링하는 경향이 있어 실제 최악의 취약점을 심각하게 과소평가할 수 있습니다.

연구진은 LLaMA-3-8B 모델을 대상으로 세 가지 백도어 설정에서 모델, 깨끗한 데이터, 오염된 예시 수를 고정했을 때 공격 성공률이 선택된 오염 세트에 따라 3%에서 80%까지 광범위하게 나타날 수 있음을 보여줍니다. 이는 기존 평가 방법이 최악의 취약점을 제대로 반영하지 못함을 시사합니다.

이 문제를 해결하기 위해 연구진은 오염 세트 선택을 오라클 예산 최적화(oracle-budgeted set optimization)로 공식화하고 SAILS(Set-level Audit-Informed Iterative Learned Selection)라는 새로운 방법을 제안했습니다. SAILS는 수백 번의 파인튜닝 및 평가 실행을 통해 오염 점수 평가기(set scorer)를 학습하고 수백만 개의 후보 세트를 순위화한 후 소수의 후보군만 감사하여 선택합니다.

SAILS는 가장 강력한 영향 기준선 대비 홀드아웃 공격 성공률을 평균적으로 30퍼센트 포인트 향상시키며, 소규모 파인튜닝에서 전체 규모 파인튜닝으로 확장되고 코드 생성, 에이전트, API 전용 백도어까지 적용 가능합니다.

멀티모달 대규모 언어 모델(MLLM)의 온라인 강화 학습(RL) 훈련에서 프롬프트의 정보량은 정책에 대한 유용성에 따라 크게 달라지지만, 표준 훈련에서는 모든 프롬프트가 동일한 롤아웃 예산을 받습니다. 연구진은 이러한 불균형을 해결하기 위해 탐색 기반 프롬프트 스캐폴딩 프레임워크를 제안하며, 이는 RL 후 훈련 과정에서 훈련 프롬프트 분포를 동적으로 조정합니다.

이 접근법의 핵심은 탐색 잠재 점수(Exploration Potential Score, EPS)인데, 이는 KL 정규화된 정책 개선 이론에서 파생된 프롬프트 유용성의 경량 롤아웃 기반 대리 지표입니다. EPS는 추가적인 오버헤드 없이 온폴리 롤아웃 통계로부터 직접 계산할 수 있어 프롬프트의 유용성을 측정합니다. 연구진은 낮은 유용성의 프롬프트를 버리는 대신, 교사 모델을 사용하여 원래의 작업 의도를 보존하면서 후속 훈련을 더 유익하게 만드는 스캐폴딩된 재작성(scaffolded rewrites)을 생성합니다.

이러한 교사 감독은 출력 모방이 아닌 훈련 데이터 개선으로 재구성됩니다. Geo3K와 MMK12에 GRPO를 통합하여 이 방법은 도메인 내 및 분포 외 벤치마크에서 기준 모델을 지속적으로 능가했습니다. 구체적으로 도메인 내에서는 9.7%의 상대적 개선을 달성했으며, MathVision에서는 11.5%, MMMU-Pro에서는 11.1%의 성능 향상을 보였습니다.

물리적 환경 이해, 행동 생성, 미래 예측을 통합하는 모델인 PhysBrain 1.5가 발표되었습니다. 이 모델은 관찰, 상호작용, 환경 변화의 물리적 루프를 기반으로 학습 프레임워크를 통합하여 비전-언어 모델에서 출발하여 언어 응답, 엔드 이펙터 움직임, 밀집된 시각 목표를 이산 시퀀스로 인코딩하고 자기회귀 다음 토큰 예측을 통해 공동으로 최적화합니다.

사전 학습은 인간 상호작용 비디오에서 얻은 신체적 감독을 완전히 활용하며, 작업 중심 에피소드를 사용하여 의미적 및 공간적 맥락을 회복된 움직임과 후속 관찰에 연결합니다. 이후 이 모델은 인간 시연, 로봇 궤적, 시뮬레이션 경험의 혼합을 통해 지도 미세 조정으로 적응됩니다.

28개의 신체 이해 벤치마크에서 8B 모델은 평균 72.5점을 달성하며 새로운 오픈 소스 최고 성능을 설정했습니다. 이는 GPT-6-Astra 및 Gemini 3.6 Flash와 같은 선도적인 독점 모델과 동등한 성능을 보이며, 14개 벤치마크에서 최고의 오픈 소스 결과를 달성하면서도 일반적인 멀티모달 능력을 유지합니다.

이러한 이해 평가 외에도, 모델은 공간적으로 정렬된 RGB, 깊이, 로봇 마스크 출력을 통해 엔드 이펙터 궤적을 생성하고 미래 장면을 예측하는 능력을 보여줍니다. 이는 PhysBrain 1.5가 물리적 행동과 시각적 예측을 통합하는 데 있어 실질적인 능력을 갖추고 있음을 시사합니다.

스트리밍 옴니모달 모델은 비디오 청크와 동기화된 오디오에서 무엇을 언제 답변해야 할지 결정해야 하는 과제를 안고 있습니다. 시각적 단서는 발화나 음향 이벤트가 완료되기 전에 해석을 뒷받침하는 경우가 많으며, 이러한 해석이 사실로 메모리에 들어가면 이후 오디오가 모순되더라도 추론이 이를 계속 전달할 수 있습니다. 연구진은 이러한 현상을 조기 교차 모달 약속(premature cross-modal commitment)이라고 명명했습니다.

이에 연구진은 모든 관찰된 증거, 미래 증거 예측, 그리고 이 증거에 기반한 주장을 포함하는 구조화된 출력을 생성하는 옴니스트리밍 사고(Omni-Streaming Thinking, OST)를 제안했습니다. OST는 각 주장을 잠정 상태로 표시하고 미래 검증 간격에 연결하며, 오디오와 시각 증거를 별도로 저장합니다. OST는 검증 간격이 끝날 때 특정 양식의 증거를 기준으로 주장을 확인하며, 모순되는 증거가 감지되면 반증 프로세스를 통해 주장의 영향력을 줄이고 새로운 증거를 사용하여 상태를 업데이트합니다.

OST는 가중치 조정이 최소화된 고정된 Qwen3-Omni-30B-A3B-Instruct 백본을 사용하여 구현되었습니다. 이 모델은 다섯 가지 스트리밍 및 오디오-비주얼 벤치마크에서 가장 강력한 오픈 베이스라인보다 평균적으로 10% 이상 높은 성능을 보였습니다. 또한 OST-DiagBench를 도입하여 비디오를 고정하고 오디오를 편집하여 일치, 부재, 모순, 공존, 자막-음성 충돌 등을 테스트할 수 있게 했습니다.

이러한 개선을 통해 OST는 d-prime 지표에서 오픈 베이스라인의 최대 1.38에 비해 2.95를 달성했으며, 시각 유발 청각 환각 현상을 줄이는 데 기여했습니다. 이는 모델이 모순되는 정보를 처리하고 신뢰도를 높이는 데 효과적임을 보여줍니다.

자율 AI 에이전트의 발전은 복잡한 영역에서 고가치 솔루션을 발견하는 탐색에 달려 있지만, 탐색 전략을 관리하고 개선하는 것이 주요 병목 현상으로 남아 있습니다. 현재 시스템은 검색 공간이 확장됨에 따라 고정된 전략이 적응하지 못하는 문제와, 장기적인 롤아웃에서 지연되고 비용이 많이 드는 피드백 하에 방대한 메타-검색 공간을 탐색해야 하는 문제에 직면해 있습니다.

이러한 문제를 해결하기 위해 Dream-RSI라는 확장 가능하고 재귀적으로 자기 개선되는 탐색 프레임워크가 소개되었습니다. 이 프레임워크는 탐색을 명시적이고 프로그래밍 가능하게 만들면서도 기반이 되는 코딩 에이전트는 그대로 유지하는 경량의 오케스트레이션 레이어를 사용합니다. 핵심 통찰은 축적된 발견 이력이 실현된 검색 공간에 대한 리플레이 시뮬레이터로 사용될 수 있다는 것입니다.

이 리플레이 시뮬레이터에서 과거 발견 트리로부터 구축된 시뮬레이터를 통해 '꿈꾸는' 과정을 수행함으로써 Dream-RSI는 반복적이고 비용이 많이 드는 온라인 평가를 호출하지 않고도 즉각적이고 저비용의 오프-폴리시 피드백을 확보하여 탐색 정책을 평가하고 개선합니다. 개선된 정책은 이후 온라인으로 재배포되어 추가적인 발견을 유도하며, 자기 개선 루프 내에서 시뮬레이터 풀을 지속적으로 확장합니다.

이러한 접근 방식은 알고리즘 엔지니어링, 수학적 최적화, GPU 커널 엔지니어링 전반에 걸쳐 여러 설정에서 발견 품질을 경쟁력 있게 또는 개선하면서 발견 비용을 상당히 줄입니다.