읽을 가치가 있는 기사만, 짧고 또렷하게.

음악 편집은 영화, 방송, 게임 개발 등 현대 음악 제작에서 중요한 역할을 합니다. 최근 음악 편집 시스템의 발전으로 음색 전이, 악기 대체, 장르 변환과 같은 다양한 편집 작업이 가능해졌습니다. 하지만 기존 연구들은 편집 과정에서 유지되어야 할 음악적 측면을 보존하는 능력, 즉 음악적 맥락 보존(Music Context Preservation, MuseCP)을 평가하는 데는 소홀했습니다.

이러한 한계를 해결하기 위해 본 연구는 최초의 MuseCP 평가 프레임워크인 MuseCPEval을 도입했습니다. MuseCPEval은 음악 속 네 가지 측면을 다루며, 음악 속 변화를 미묘하게 포착하기 위해 세밀하고 잘 조정된 측정 기준을 제공합니다. 이 측정 기준의 효과는 객관적인 검증과 인간 연구를 통해 입증되었습니다.

다양한 음악 편집 시스템에 대한 사례 연구는 이러한 측정 기준이 기존 시스템의 강점과 한계를 이해하는 테스트베드 및 진단 도구로서 실질적인 유용성을 제공함을 보여줍니다. 연구진은 이 측정 결과와 발견이 MuseCP 능력이 뛰어난 보다 효과적이고 신뢰할 수 있는 음악 편집 전략을 개발하는 데 실질적인 지침을 제공하기를 희망합니다.

인공지능이 주니어 엔지니어의 가치를 없애는 것이 아니라 오히려 증가시킨다는 주장이 제기되었습니다. 이는 주니어 엔지니어의 역할이 단순히 코드를 작성하거나 AI 도구를 프롬프트하는 것을 넘어, 고객 문제를 해결하고 기술적 복잡성을 관리하는 데 필수적이기 때문입니다. 실제 업무 과정에서 주니어 엔지니어는 요구사항을 전달하고 피드백을 반영하며 반복하는 과정을 통해 조직에 기여하며 시간당 비용을 발생시킵니다.

AI는 코드 생성에 많은 부분을 담당하지만, 기술적 결정과 트레이드오프를 내리는 데 필요한 광범위한 맥락을 제공하지 못합니다. 예를 들어, 특정 기능을 개발할 때 주니어 엔지니어는 기술적 측면과 제품 측면에서 발생하는 불일치를 이해하고, 다양한 제약 조건 속에서 최적의 해결책을 찾는 판단을 내립니다. 이러한 판단은 코드베이스를 넘어선 더 넓은 맥락을 요구하며, 이는 여전히 인간의 역할로 남아 있습니다.

실제로 인턴이 고객이 오랫동안 요청했지만 우선순위가 낮았던 기능을 개발했을 때, 그들은 AI의 도움을 받았지만 기술적, 제품적 불일치를 해결하고 가치를 전달하는 주도적인 역할을 수행했습니다. 이는 주니어 엔지니어가 조직에 역량을 더하고 기술적 판단을 가능하게 하여 조직이 더 많은 것을 할 수 있도록 돕는 중요한 역할을 의미합니다.

따라서 AI 시대에도 엔지니어링 조직은 기술적 판단 능력을 계속 필요로 하며, 주니어 엔지니어는 이러한 복잡성을 관리하고 고객 관점을 이해하는 데 기여함으로써 조직의 미래 판단력을 키우는 데 필수적입니다.

영상 생성 분야에 목표 달성과 의미적 정렬을 모두 요구하는 새로운 평가 프레임워크인 의미적 작업 완료 비디오 생성(Semantic Task Completion Video Generation)을 소개합니다. 이 새로운 접근 방식에서 성공적인 결과물은 의도된 목표를 달성하는 것뿐만 아니라 의미적 정렬(semantic grounding)을 확보하는 것을 필요로 합니다. 의미적 정렬은 참조 이미지와 생성된 결과물 간의 작업과 관련된 고수준 의미에 대한 대응 관계를 의미합니다.

체계적인 평가를 위해 여섯 가지 도메리를 포괄하는 평가 데이터셋인 SemComp-Data를 구축했습니다. 이 데이터셋의 각 인스턴스는 참조 이미지, 상세 지침, 간략 지침, 그리고 결과 중심의 비디오 클립으로 구성됩니다. 또한, 이 데이터셋을 표준화된 형태로 변환하는 확장 가능한 4단계 큐레이션 파이프라인을 제시합니다.

추가로, 비전-언어 모델(VLM)을 사용하여 구조화된 이진 질문에 답하는 평가 프로토콜인 SemComp-Bench를 도입했습니다. SemComp-Bench는 결과 달성(OA Score)과 생성 신뢰성(GR Score)을 보고합니다. 대표적인 비디오 생성 모델에 대한 실험 결과는 참조 이미지에서 작업 관련 의미적 정렬을 유지하면서 의도된 목표를 달성하는 것이 여전히 어렵다는 것을 보여줍니다.

DFlash 2는 추론 과정에서 병렬 초안 작성(drafting)을 가능하게 하여 에이전트 시대의 병목 현상을 해결하는 새로운 추론 스택을 제시합니다. 기존의 추론 방식은 토큰당 전체 모델 순방향 계산을 요구하여 시간과 토큰 경제 측면에서 비효율적이었으나, DFlash 2는 전체 블록을 병렬로 예측하여 효율성을 극대화합니다.

DFlash 2는 Qwen3.8-27B 모델에서 실험되었으며, Apple M5 Max 환경에서 오직 1%의 추가 사이클 지연만으로도 검증 패스당 20% 더 많은 출력을 얻어내며, 이는 결과적으로 16%에서 25%의 성능 향상을 가져옵니다. 이는 기존의 자기회귀적 디코딩 방식보다 2.7배에서 3.4배 빠른 처리 속도를 제공하며 토큰당 컴퓨팅 비용을 약 3분의 1로 줄입니다.

이 기술은 DFlash 2가 인코 AI에서 개발되었으며 SGLang, vLLM, llama.cpp 등 주요 추론 엔진에서 이미 구현되어 있으며 NVIDIA, Meta 등 다양한 파트너들이 공식 드래프터를 출시하며 생태계를 구축하고 있습니다. DFlash 2는 단순히 속도를 높이는 것을 넘어, 인과 관계가 있는 토큰 간의 일관성을 유지하면서도 불필요한 자기회귀적 보정 없이 효율적인 추론을 가능하게 합니다.

코딩 에이전트의 강화 학습은 도구 통합, 저장소 컨텍스트, 실행 피드백 관리를 위해 장기 실행 에이전트 하네스에 크게 의존하고 있습니다. 그러나 이러한 하네스의 네이티브 실행 환경은 정책 기울기 훈련과 본질적으로 불일치하여 환경 충돌이나 보상 해킹이 결과 신호를 손상시키고, 훈련과 추론의 불일치가 롤아웃 행동을 정책 업데이트로부터 분리시키는 문제가 발생합니다.

이러한 문제를 해결하기 위해 논문은 네이티브 코딩 에이전트 하네스와 확장 가능한 정책 기울기 최적화를 내부 제어 흐름을 수정하지 않고 연결하는 프레임워크인 LEGO-RL을 제시합니다. LEGO-RL은 세 가지 핵심 축을 기반으로 구축됩니다. 첫째, 인-프로세스 LLM 프록시를 통한 충실한 최적화로 토큰 수준 정렬을 위한 원시 생성 스트림을 포착하고 하네스 측의 압축이나 재직렬화 하에서도 로그 확률 재계산을 보장합니다. 둘째, 이미지 캐싱과 단계별 방어를 특징으로 하는 확장 가능한 샌드박스 오케스트레이션을 통해 보상 해킹을 완화하며 신뢰할 수 있는 실행을 가능하게 합니다.

또한, 통합 플러그인을 통해 검증 및 모니터링을 자동화하고 세밀한 궤적 진단을 위한 라이브 UI를 제공하여 관찰 가능한 훈련 환경을 구축합니다. 이 프레임워크를 세 가지 네이티브 코딩 에이전트 하네스에 걸쳐 GSPO를 사용하여 희소 MoE 모델인 Qwen3.5-35B-A3B를 훈련하여 평가했습니다.

그 결과 LEGO-RL은 SWE-bench Verified에서 OpenHands SDK(64.0%에서 70.4%), Claude Code(62.4%에서 68.2%), OpenCode(57.2%에서 66.6%) 성능을 개선했으며, 롤아웃-훈련 확률 상관관계는 0.99 이상을 유지했습니다.

LLM 시대에 확장 가능한 소프트웨어의 필요성이 대두되고 있습니다. 현재 웹 소프트웨어 대부분은 정적이며, 개발자들이 사용자에게 가장 큰 수요를 충족시키는 기능에 집중하기 때문에 사용자 개개인의 다양한 요구사항을 반영하기 어렵습니다. 이러한 상황에서 LLM 기반 코딩 지원은 개인의 워크플로우에 맞춘 '소프트웨어 포 원(Software for One)'을 구축하는 데 강력한 도구가 되었습니다.

LLM은 복잡한 엔터프라이즈 소프트웨어의 책임과 복잡성을 우회하여 개인 맞춤형 앱을 만드는 데 탁월하며, 이는 Pi와 같은 사례에서 확장 가능한 소프트웨어 모델로 발전하고 있습니다. 핵심은 LLM이 확장 기능을 작성하는 비용을 크게 낮추고, 현대적인 샌드박스 원시 기능을 통해 배포 비용과 보안 경계를 낮출 수 있다는 점입니다.

개발자들은 이제 애플리케이션의 핵심을 견고하게 구축하고, LLM을 사용하여 사용자가 안전하게 여러 방향으로 확장할 수 있도록 허용하는 방식으로 접근해야 합니다. 기존의 웹훅 방식보다 더 나아가, 사용자가 원하는 로직을 쉽게 삽입하고 공유할 수 있는 확장 패턴이 필요하며, 이를 통해 생태계가 다양한 아이디어를 수용할 수 있게 됩니다.

이러한 확장성을 실현하기 위해서는 사용자 측에서 민감한 데이터에 접근할 수 있는 커스텀 코드를 샌드박스하는 것이 중요합니다. 플랫폼을 구축하는 것은 설계, 운영, 디버깅 측면에서 어렵지만, 사용자 창의성을 극대화할 수 있다는 점에서 가치가 있습니다.

LLM을 GPU 커널 최적화를 위해 아키텍처별 PTX를 활용하도록 평가하는 벤치마크인 PTXBench가 소개되었습니다. 이 벤치마크는 H100 및 B200 GPU에서 GEMM 및 어텐션 워크로드에 걸쳐 기능적 정확성, 대상 명령어 실행 여부, 그리고 선도 라이브러리에 대한 속도 향상을 측정합니다.

평가 결과, 아키텍처별 PTX 활용 능력은 균일하지 않다는 점이 드러났습니다. 특히 복잡한 어텐션 역방향 워크로드에서는 성공률이 크게 떨어지며, 대상 명령어를 실행한다고 해서 반드시 경쟁력 있는 성능으로 이어지지 않는 것으로 나타났습니다. 또한, 평가된 모델 중 어느 것도 전체 테스트에서 선도 라이브러리와 일관되게 일치하지는 않았습니다.

연구진은 Qwen3.6-27B 모델을 지도 미세 조정(supervised fine-tuning)을 사용하여 추가로 적응시켰습니다. 이 과정에서 복구 조건부 훈련(repair-conditioned training)은 여러 작업에서 개선을 보였지만, 일반화 능력은 여전히 불균일했습니다. 데이터의 커버리지, 균형, 그리고 추론 교사(reasoning teacher)의 품질이 데이터셋 크기만큼이나 중요한 요소로 작용했습니다.

PTXBench는 LLM이 진화하는 GPU 아키텍처를 활용하는 능력을 측정하고 개선하기 위한 검증 가능한 테스트베드를 제공합니다. 이는 LLM이 GPU 아키텍처의 변화에 더 잘 적응하도록 돕는 데 중요한 기반이 될 것입니다.

고해상도 이미지 편집에 대한 요구가 증가하고 있지만, 기존 확산 기반 모델들은 이차 어텐션 복잡성과 막대한 메모리 요구 사항으로 인해 1K 이하 해상도에 국한되어 있습니다. 현재 사용되는 해결책은 저해상도에서 편집한 후 독립적으로 초해상도를 수행하는 2단계 파이프라인을 사용하지만, 이 방식은 환각된 세부 정보가 원본 고해상도(HR) 소스와 모순되는 정보 분산과 과도하게 부드럽거나 선명해진 인공물로 나타나는 질감 저하라는 두 가지 심각한 문제를 안고 있습니다.

이에 연구진은 효율적인 초고해상도 편집을 위한 확산 브릿지 프레임워크인 EditBridge를 제안합니다. EditBridge는 노이즈에서 재생성하는 기존 확산 방식과 달리, 저해상도(LR) 편집 결과에서 고해상도(HR) 대응물로의 구조화된 데이터-투-데이터 변환으로 정제를 공식화하며, 원본 HR 소스를 명시적으로 조건화하여 실제 세부 정보를 보존합니다.

효율적인 HR 소스 가이드를 통합하기 위해, EditBridge는 첫 번째 단계 편집에서 얻은 의미론적 일치를 활용하여 교차 이미지 상호작용을 공간적으로 정렬된 영역으로 제한하는 사전 가이드 블록별 희소 어텐션 메커니즘을 도입하여 계산 오버헤드를 크게 줄입니다.

실험 결과, EditBridge는 최대 4K 해상도에서 높은 충실도와 우수한 지각적 품질을 달성했으며, 2K 해상도에서 3.6배에서 8.4배의 속도 향상을 제공하고 61초 만에 실용적인 4K 편집을 가능하게 했습니다.

비전 인코더는 비전-언어 모델의 핵심 구성 요소이지만, 용량을 효과적으로 확장하는 것은 컴퓨팅 비용과 추론 지연 시간을 증가시킵니다. 이에 대안으로 Mixture-of-Experts(MoE) 아키텍처가 제시되었으나, CLIP 스타일 비전 인코더에 대한 MoE 설계 공간은 아직 최신 기술 수준에서 충분히 탐구되지 않았습니다.

본 연구는 비전 인코더 확장을 위한 MoE 설계를 체계적으로 연구하여, 미세한 MoE 토폴로지가 밀집된 구조나 표준 MoE보다 상당한 성능 향상을 가져온다는 것을 발견했습니다. 또한, 전문가 활용도를 높이기 위한 보조 손실 없는 균형 조정 변형과 추론 지연 시간을 완화하기 위한 특수 MoE 커널을 제안했습니다.

나아가 이미지 지식을 보존하면서 비디오 능력을 향상시키기 위해 프레임 수준 증류(frame-level distillation)와 새로운 동결 메커니즘을 도입했습니다. 이 연구를 통해 사전 학습된 Mixture-of-Experts Vision Encoder(MoE-ViE) 모델들은 밀집된 모델들을 일관되게 능가하며, 가장 큰 모델은 크기의 1.7배에 해당하는 최신 인코더와 동일한 제로샷 성능을 76%의 지연 시간으로 달성했습니다.

MoE-ViE는 LLM과 정렬되었을 때 이미지 및 비디오 벤치마크에서 비교된 모든 인코더를 능가하며, 최대 5배 더 활성화된 파라미터를 가진 모델들까지도 뛰어난 성능을 보였습니다. 관련 코드는 GitHub에서 공개되어 있습니다.

인스트럭션 기반 비디오 편집 데이터셋의 품질과 다양성이 개선되고 있지만, 기존 데이터셋은 단일 편집 작업에 주로 초점을 맞추고 있어 구성적 인스트럭션 기반 비디오 편집을 지원하는 데는 한계가 있습니다. 특히 하나의 비디오 내에서 여러 편집 의도를 공동으로 이해하고 충실하게 실행해야 하는 요구사항이 있습니다.

이러한 문제를 해결하기 위해 대규모 고품질 데이터셋인 CoinVE-200K가 소개되었습니다. CoinVE-200K는 최대 201프레임의 1080p 비디오 편집 쌍을 포함하며, 각 샘플은 2에서 5개의 원자적 편집 작업을 포함하는 다양한 구성 시나리오를 다룹니다. 이 데이터셋은 인간, 객체, 배경을 대상으로 하며 추가, 제거, 수정, 스타일화와 같은 편집 유형을 포함하고 있습니다. 모든 샘플은 인스트럭션 충실도, 시각적 품질, 시간적 일관성, 구성적 다양성을 보장하기 위해 신중하게 설계된 생성 및 필터링 파이프라인을 통해 구축되었습니다.

또한, 다양한 주제, 작업 유형, 인스트럭션 복잡성을 아우르는 구성적 인스트럭션 비디오 편집을 위한 벤치마크인 CoinVE-Bench도 함께 제시되었습니다. 이와 더불어, Wan2.1-T2V-14B와 Qwen3-VL-8B-Instruct를 기반으로 구축된 220억 개의 파라미터를 가진 CoinVE-Edit 모델이 소개되었습니다. CoinVE-Edit은 다양한 편집 인스트럭션에 대해 영역 인식 주의(region-aware attention)를 분리하여, 관련 없는 콘텐츠와 시간적 일관성을 보존하면서 정밀한 다중 영역 편집을 가능하게 합니다. CoinVE-Bench 실험 결과는 CoinVE-Edit이 인스트럭션 준수, 구성적 편집 정확도, 시각적 품질, 시간적 일관성에서 강력한 성능을 달성했음을 보여줍니다.

대규모 언어 모델이 도구, 확장 기능, 지속적인 상태, 권한 및 외부 행동을 관리하는 에이전트 하네스(agent harnesses)를 통해 점점 더 많이 배포됨에 따라 안전성 평가의 필요성이 커지고 있습니다. 기존의 안전 벤치마크는 개별 공격 메커니즘이나 제한된 운영 설정에 초점을 맞추고 있어, 다양한 하네스 책임 전반에 걸쳐 안전 실패가 어떻게 발생하는지 비교하기 어렵다는 한계가 있었습니다.

이에 연구진은 에이전트 하네스 안전성을 여섯 가지 운영 단계, 즉 하네스 구성(Harness Configuration), 기능 확장(Capability Extension), 런타임 운영(Runtime Operation), 상태 지속성(State Persistence), 행동 제어(Action Control), 그리고 사고 복구(Incident Recovery)로 조직하는 생애주기 기반 벤치마크인 HarnessRisk를 제시했습니다. 이 벤치마크는 악의적인 지침이 포함된 워크플로우 아티팩트에 128개의 샌드박스 사례를 포함하며, 유용성(Utility), 공격 성공률(Attack Success Rate), 지속성(Persistence), 탐지(Detection)를 사용하여 각 경로를 평가합니다.

평가 결과, 공격 성공률은 12.6%에서 80.9%까지 나타났으며, 유용성은 75.0%에서 97.6% 사이를 유지했습니다. 특히 하네스 구성 단계가 세 가지 하네스 전반에서 가장 취약한 것으로 나타났는데, 이는 승인된 워크플로우 내의 보안 민감한 매개변수를 변경함으로써 공격이 성공할 수 있음을 보여줍니다. 또한, 명시적인 위험 인식이 안전한 행동으로 이어지지 않는다는 점도 발견되었습니다. 일부 구성은 실행의 90% 이상에서 위험을 탐지함에도 불구하고 상당한 공격 성공률을 유지하여, 에이전트 안전성을 배포된 모델과 하네스 구성 수준에서 다각도로 평가해야 할 필요성을 강조합니다.

현대 에이전트는 도구, 컨텍스트, 흐름을 관리하는 에이전트 하네스(agent harness) 내에서 작동하며, 이 하네스는 에이전트 시스템의 핵심 요소입니다. Agent Lightning은 임의의 에이전트를 LLM 엔드포인트 프록시를 통해 RL 훈련에 연결하는 분리된 아키텍처를 도입했으며, 이는 verl Uni-Agent, AReaL 2.0 등 여러 프레임워크에서 채택되었습니다. 이러한 접근 방식을 포착하여 Harnessed Agentic RL이라는 패러다임을 제시했는데, 이는 배포 시점의 하네스가 모델 후 훈련에 직접 참여하는 방식입니다.

전통적인 에이전트 RL과 달리 Harnessed Agentic RL은 훈련 엔진이 아닌 하네스가 환경 상호작용 루프를 소유하고, 훈련자는 오직 LLM 요청-응답 쌍의 시퀀스만을 관찰합니다. 이러한 구조는 리토큰화, 샘플 병합, 이점 계산, 손실 정규화, 백엔드 스케줄링과 같은 여러 문제들을 야기하며 훈련의 안정성과 효과에 중대한 영향을 미칩니다.

이러한 도전 과제를 연구하기 위해 Agent Lightning v1.0을 발표했는데, 이는 약 3,500줄의 코드로 구현된 경량 프레임워크로 임의의 에이전트 하네스를 지원하며 실질적인 테스트베드를 제공합니다. 이 프레임워크는 지시 따르기, 검색, 코딩 에이전트를 평가하며 코딩 에이전트 RL에 대한 완전한 재현 가능한 파이프라인을 제공합니다.

6K개의 훈련 예제와 적절한 컴퓨팅 자원만을 사용하여 RL을 적용한 결과, Qwen3.5-9B 모델은 SWE-bench Verified 점수가 41.8%에서 56.4%로 향상되어 14.6점의 절대적인 이득을 얻었습니다. 연구의 재현성을 촉진하기 위해 전체 워크플로우와 훈련 스크립트를 공개하여 Harnessed Agentic RL에 대한 연구를 용이하게 합니다.

대규모 비전-언어 모델(VLM)은 전신 내비게이션 분야에서 상당한 발전을 이루었으나, 기존 방법들은 VLM을 부자연스러운 행동 공간으로 강제하고 경직된 추론 일정과 비효율적인 메모리 관리로 인해 직접적인 배포에 어려움이 있었습니다. 이러한 한계를 극복하기 위해 효율적인 전신 내비게이션을 위한 통합 프레임워크인 TAMP-Nav를 제안합니다.

TAMP-Nav는 세 가지 핵심 구성 요소를 통해 문제를 해결합니다. 첫째, 내비게이션을 2D 시각 프롬프팅으로 재구성하는 픽셀-투-3D 행동 공식화(Point)를 도입하여, VLM이 2D 픽셀을 선택하고 이를 3D 좌표로 투영하여 저수준 SLAM 컨트롤러에 전달함으로써 VLM의 내재된 2D 시각 능력과 실행을 자연스럽게 일치시킵니다. 둘째, 선택적 추론 및 앵커-궤적 메모리(Think and Memorize) 메커니즘을 통합하여, 중요한 노드에서만 체인-오브-사고(Chain-of-Thought)를 동적으로 촉발하고 중복 궤적을 경량의 공간-시간 지표(Space-Time Indicators)로 압축하여 중요한 역사적 정보를 보존합니다.

마지막으로, 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통한 효율적인 두 단계 정렬 패러다임(Align)을 설계했습니다. 이는 전역 결과 보상과 세밀한 프로세스 보상을 중첩하여 모델의 인지 계획을 물리적 환경 피드백과 긴밀하게 정렬함으로써 적응적인 추론 능력을 부여합니다. 실험 결과 TAMP-Nav는 높은 런타임과 샘플 효율성(단 90k 훈련 궤적 요구)을 유지하면서 최고 수준의 성능(예: R2R-CE에서 66.2% SR)을 달성했습니다.

3D 콘텐츠 제작에서 프로그래밍 표현은 세밀한 편집, 해석 가능성, 명시적인 구조 제어를 가능하게 하는 강력한 패러다임입니다. 하지만 대규모 언어 모델(LLM)에 의존하는 에이전트 워크플로우는 종종 높은 수준의 의도를 일관된 저수준 기하학으로 번역하는 데 실패하여 취약한 문제가 발생합니다. 이러한 취약성은 기존 프로그래밍 인터페이스와 LLM의 추론 강점 사이의 불일치에서 기인하는데, LLM은 취약한 숫자 선택보다 의미론적 구조와 공간 관계를 선호하기 때문입니다.

이러한 격차를 해소하기 위해 본 논문에서는 에이전트 중심의 도메인 특화 언어(aDSL)와 역할 특화 멀티 에이전트 시스템을 공동으로 설계합니다. aDSL은 결합성과 공간 추론을 강조함으로써 의미론적 논리와 기하학적 제약을 연결하며, 에이전트가 취약한 절대 좌표 대신 관계 연산자를 통해 기하학을 조작할 수 있게 합니다.

aDSL을 기반으로, 연구진은 실행 피드백을 사용하여 요청을 분해하고 코드를 합성하며 실행 피드백을 통해 오류와 제약 조건 위반을 반복적으로 수정하는 계획-실행-비평(Plan-Execute-Critic) 루프를 따르는 학습 불필요 멀티 에이전트 시스템을 구축했습니다. 실험 결과, 이러한 공동 설계는 견고성, 제어 가능성, 사용자 의도에 대한 충실도를 개선했습니다.

이 방법은 텍스트-투-셰이프 및 이미지-투-셰이프 작업에서 기존 LLM 기반 기준 모델보다 우수한 성능을 보였으며, 명시적인 구조, 편집 가능성, 해석 가능성을 보존합니다. 또한 이 방법은 관절형 객체 생성 및 구조화된 장면 구성과 같은 다운스트림 애플리케이션을 가능하게 합니다. 관련 코드는 https://github.com/sig-pku/aDSL에서 확인할 수 있습니다.

최근 대규모 언어 모델(LLM)과 에이전트의 발전은 AI 시스템이 복잡한 작업을 수행하는 능력을 크게 향상시켰습니다. 하지만 기존 벤치마크들은 연구자가 선정한 작업에 주로 의존하여 실제 사용자들이 AI 시스템에게 요구하는 작업 범위까지 발전이 확장되었는지에 대해서는 불확실성이 존재합니다.

이러한 한계를 극복하기 위해 우리는 시장에서 검증된 AI 스타트업 제품에 기반한 E2E 에이전트 벤치마크인 StartupBench를 소개합니다. 이 벤치마크는 유용한 에이전트 능력에 대한 사전 가정 대신, 실제 채택된 AI 제품, 그 워크플로우, 그리고 사용자들을 체계적으로 연구하여 다양한 전문 분야에서 AI가 실질적인 수요를 갖는 실제 작업을 식별합니다.

StartupBench는 이러한 워크플로우를 완전한 결과물 지향적 작업으로 변환하고 복잡한 요구 사항을 포착하는 세밀한 기준을 사용하여 평가합니다. 하지만 대표적인 모델들을 통합된 에이전트 하네스 아래에서 평가했을 때, 가장 강력한 모델조차도 StartupBench 작업의 약 30%만을 성공적으로 완료했습니다.

분석 결과, 복잡한 지시 사항을 따르는 능력과 특정 도메인 전문성이 실패의 주요 원인으로 밝혀졌습니다. 이는 많은 시장에서 검증된 워크플로우가 현재의 범용 에이전트의 신뢰할 수 있는 능력을 넘어선다는 것을 보여줍니다. 따라서 StartupBench는 실제 사용자 작업의 E2E 완료에 대한 진전을 측정하는 경험적 척도로 자리매김합니다.

텍스트-이미지 확산 모델에 대한 계산 최적화 스케일링 법칙 연구가 제시되었습니다. 연구진은 Abra라는 제어된 흐름 일치 트랜스포머(flow-matching transformers)를 사용하여 $10^{19}$에서 $10^{22}$ FLOPs에 이르는 세 가지 규모의 컴퓨팅 자원으로 훈련을 진행했습니다. 이 연구는 확산 모델이 언어 모델과 마찬가지로 예측 가능하게 스케일링된다는 것을 보여주지만, 최적의 훈련을 위해서는 훨씬 더 많은 데이터가 필요함을 입증합니다.

계산 최적성은 파라미터당 약 200 이미지 토큰에서 달성되며, 이는 LLM에 대한 Chinchilla의 계산 최적화 제안보다 10배 더 많은 데이터 요구량을 의미합니다. 또한 확산 모델은 언어 모델과 달리 과훈련에 강하다는 점이 밝혀졌으므로, 실무자들은 더 큰 모델보다는 더 많은 데이터를 확보하는 방향으로 접근해야 합니다.

이러한 예측 가능성은 훈련 손실을 넘어 생성 품질 지표, 최적의 CFG 설정, 표현 품질, 심지어 훈련 곡선의 형태까지 보편적인 형태로 수렴한다는 것을 보여줍니다. 이는 확산 모델 훈련 과정 전반에 걸쳐 계산 효율성과 결과의 예측 가능성을 제공합니다.

인공초지능(ASI)은 기존 지식을 숙달하는 것을 넘어 미지의 영역을 탐색하고 새로운 지식을 창출하며 새로운 아이디어를 검증 가능한 결과로 전환하는 능력을 요구합니다. 하지만 현재의 AI 시스템 능력은 주로 기존 인간 지식을 학습하고 압축하며 적용하는 것에 기반하고 있습니다. 따라서 기존 벤치마크들은 AI가 학습된 지식을 바탕으로 정확한 답을 도출하거나 광범위한 인간의 지도 하에 작업을 완료할 수 있는지 여부를 주로 테스트해왔습니다.

이에 연구진은 혁신적인 탐색과 자율적인 과학적 실행 능력을 공동으로 평가하는 최초의 벤치마크인 ASI-Bench를 소개합니다. 이 벤치마크는 연구 프로젝트 내에서 인간의 방법론적 지도를 점진적으로 철회하여 AI가 스스로 얼마나 멀리 나아갈 수 있는지 테스트하는 데 중점을 둡니다. ASI-Bench는 40여 명의 전문가와 31,000시간 이상의 인력 비용으로 구축되었으며 11가지 과학 분야에 걸친 60개의 프로젝트 수준 연구 과제를 포함하고 있습니다.

이 벤치마크는 에이전트가 스스로 방법을 결정하고 연구를 수행하며 검증 가능한 결과를 도출할 수 있는지 평가합니다. 18가지 최첨단 에이전트-모델 구성에서, 방법론적 지도가 완전히 제공될 때 평균 점수는 50.91점에서 방법만 지정될 때 29.10점, 그리고 에이전트가 스스로 방법을 결정해야 할 때 26.62점으로 급격히 하락했습니다. 이러한 점수 하락은 현재 시스템이 여전히 인간의 지도에 크게 의존하며 종단 간 프로젝트 수준의 과학적 연구를 자율적으로 수행하는 데는 미치지 못함을 보여줍니다.

ASI-Bench는 전 세계 연구자와 개발자들을 위해 공개되어 있으며, 새로운 과제를 기여하고 오늘날 AI의 한계를 시험하며 인공초지능으로 향하는 인류의 집단적인 경로를 가속화하는 데 기여하도록 초대하고 있습니다.

DeepSeek Harness(DSH)에 대한 간접 프롬프트 주입 공격에 대한 보안 평가 연구 결과가 발표되었습니다. 연구진은 AI-Infra-Guard(A.I.G)를 사용하여 테스트 환경을 구축하고 통제된 오염(taint)을 전달하여 DSH를 실행하고 결과를 평가했습니다. 이 실험은 16개의 간접 콘텐츠 채널과 35개의 페이로드 목표에 걸쳐 총 14,560회의 통제된 실행을 포함하며, DSH의 에이전트 루프 및 도구 레지스트리 등 핵심 구조는 보존되었습니다.

평가 과정에서는 결정론적 규칙 기반 심판기(RuleJudge)와 의미론적 LLM 기반 심판기(LLMJudge)를 사용하여 각 실행 결과를 평가했습니다. 공격 성공률 측면에서 텍스트 모드에서 가짜 완료 공격(fake-completion attack)은 17.0%로 가장 높았으며, 파일 모드에서 숨겨진 유니코드(hidden Unicode) 공격은 25.5%로 가장 높은 성공률을 보였습니다. 또한 파일 모드에서 스킬 채널(skills channel)을 이용한 공격 성공률은 16.0%로 나타났습니다.

이러한 결과는 DSH가 도구 결과, 추가 컨텍스트, 도구 호출 정책 후크를 처리하는 방식과 관련하여 보안 통제를 식별하는 데 사용되었습니다. 연구는 신뢰할 수 없는 콘텐츠와 민감한 행동 사이에 어떤 제어 메커니즘이 위치해야 하는지를 밝혀냈습니다. 해당 연구 코드는 GitHub에서 공개되어 있습니다.

대규모 잠재 공간 생성에 있어 GS-Voxel이라는 새로운 구조화된 잠재 프레임워크가 제시되었습니다. 이는 구조화된 텐서를 사용하는 대부분의 잠재 3D 생성 모델과 달리, 사전 최적화된 3D Gaussian Splatting(3DGS) 재구성 데이터가 무질서하고 공간적으로 불규칙하며 다수의 기본 요소(primitive) 수에 따라 크게 달라진다는 문제를 해결하고자 합니다.

GS-Voxel은 피팅 프리(fitting-free) 구조화된 잠재 프레임워크로, 호환되는 사전 최적화된 3DGS 재구성을 추가적인 장면별 최적화 없이 희소 활성 복셀(sparse active voxels)로 결정적으로 변환합니다. 이 과정에서 선택된 기본 요소들의 서브 복셀 위치와 렌더링 속성을 보존합니다.

이후 GS-특화 분해된 VAE는 복셀 기하학과 국소 가우시안 속성을 별도로 인코딩하여 희소 3D 잠재 공간을 생성합니다. 이 잠재 공간의 크기는 고정된 장면 전체의 기본 요소 수에 의해 제한되는 것이 아니라 점유된 복셀의 수에 따라 증가합니다.

연구진은 이 GS-Voxel 잠재 공간에서 이미지 조건부 흐름 모델을 훈련하여 공중 3DGS 장면을 생성합니다. 특히 오버랩 인식 타일 추론(overlap-aware tiled inference)을 통해 GS-Voxel이 대면적 장면 생성에 활용될 수 있으며, 이는 단일 훈련 영역을 조건으로 하는 합성의 한계를 넘어섭니다. 결과적으로 GS-Voxel은 점유된 복셀 수에 따라 잠재 용량이 증가하는 사전 최적화된 공중 3DGS 재구성을 위한 구조화된 잠재를 제공함을 입증했습니다.

장기 에이전트 추론 환경에서 강화 학습(RL)은 분기된 상호작용과 희소한 보상 문제로 인해 여러 한계를 드러냅니다. 특히, 무거운 역전파 기반 훈련 스택은 대규모 LLM을 미세 조정하는 것을 비실용적으로 만들며, 긴 궤적은 RL에서 보상 귀인(credit assignment)을 상당히 어렵게 만듭니다. 이에 본 논문은 진화 전략(ES)이 장기 LLM 에이전트 미세 조정에 더 나은 선택이 될 수 있다고 주장합니다.

에이전트 RL과 비교했을 때 ES는 세 가지 주요 이점을 제공합니다. 첫째, 모델 확장성으로 최소한의 추론 수준 GPU 메모리만을 사용하여 전체 파라미터 최적화를 가능하게 하여 대규모 LLM을 미세 조정할 수 있습니다. 둘째, 경량의 블랙박스 피드백 인터페이스 덕분에 프롬프트 공간 진화와 미세 조정을 쉽게 결합할 수 있습니다. 셋째, 장기 확장성으로 보상을 시간 축을 따라 분해하지 않고 궤적 수준의 파라미터 귀인을 수행하여 에이전트의 길이(horizon)가 증가할수록 Agentic RL보다 더 나은 확장성을 제공합니다.

이러한 통찰을 바탕으로 본 연구는 유연한 파라미터-컨텍스트 공동 진화를 위해 맞춤화된 전체 파라미터 에이전트 미세 조정 프레임워크인 Agentic ESOpt를 제안합니다. Agentic ESOpt는 각 단계에서 현재 LLM 파라미터 주변의 교란을 샘플링하고, 결과 에이전트를 보상으로 평가하며, 온라인 보상 가중치 업데이트를 적용합니다. 또한 탐색-적응 트레이드오프를 개선하기 위해 교란 규모 $\sigma$에 코사인 감쇠 스케줄을 추가로 도입합니다.

실제 실험 결과, WebArena-Lite 환경에서 Qwen-3.5-27B의 전체 파라미터 최적화는 No Skill 기준 성능을 6.69% 향상시켰습니다. 또한, 테스트 시간 자동 휴리스틱 설계에서는 온라인 프롬프트-파라미터 공동 진화를 통해 36가지 설정 중 28가지에서 일치 기준 성능을 개선했습니다.