읽을 가치가 있는 기사만, 짧고 또렷하게.

에이전트 스킬에 대한 정적 및 런타임 공격 표면 프로파일링 방법론을 제시합니다. 에이전트 스킬은 도구 사용 에이전트가 지침으로 읽고 세션 권한으로 행동하는 마크다운 문서이며, 설치는 새로운 권한이 아닌 에이전트를 지시할 수 있는 권한을 부여합니다. 연구진은 이 권한의 크기를 측정하는 2단계 공격 표면 프로파일링 방법론을 개발했습니다.

이 방법론은 전체 번들 정적 분석과 종속성 출처 확인을 실행 가능한 샌드박스 실행 및 결과 트레이스의 모델 기반 평가와 결합합니다. 이 방법론을 두 개의 마켓플레이스에서 수집한 6,309개의 목록에 적용한 결과, 코퍼스의 절반이 셸 실행 능력을 증명하는 것으로 나타났습니다. 구체적으로 파일 시스템 읽기 능력은 35%, 파일 시스템 쓰기 및 네트워크 나가는 능력은 각각 31%, 자격 증명 접근 능력은 13%로 측정되었습니다.

또한, 목록에 표시된 정보가 실제 능력을 정확하게 반영하지 않는다는 점도 밝혀졌습니다. 목록 중 59%는 번들이 할 수 있는 일을 과소평가하며, ClawHub는 skillsmp보다 약 두 배 자주 선언하지만 선언의 88%를 31%로 과소평가합니다. 따라서 마켓플레이스 경계에서의 분류는 목록이 선언하는 내용이 아닌 번들이 실제로 할 수 있는 능력에 기반해야 합니다.

이러한 결과는 악성성 탐지 보조 수단으로서 능력 중심의 공격 표면 프로파일링이 필수적임을 시사합니다. 이는 사용자가 설치 시 수용하는 표면과 실제 능력 사이의 격차를 메우는 데 중요합니다.

장기적인 준검증 에이전트 작업은 루브릭 기반 평가에 의존하지만, 평가에 필요한 증거가 환경 상태와 실행 추적에 분산되어 있어 판단자가 이를 간과하거나 에이전트의 성공 보고와 같은 뒷받침되지 않은 주장을 수용할 수 있습니다. 특히 루브릭 판정이 강화 학습 보상으로 사용될 경우 이러한 오류가 바람직하지 않은 행동을 강화할 수 있습니다.

이에 연구진은 상태와 추적을 모두 조사하고 주장을 출처와 독립적으로 검증한 후에만 신뢰하는 증거 우선 에이전트 검증기인 Sauron을 소개합니다. Sauron은 경계 질문과 관련 기준의 공동 조사를 통해 컨텍스트 사용과 중복 작업을 줄이며, 각 판정에는 지원 증거에 대한 감사 가능한 영수증을 포함합니다.

100개의 개인 비서 에피소드에서 수집된 2,586개의 인간 레이블 기준을 통해 Sauron은 8가지 백본에서 테스트된 다섯 가지 검증기의 F1 점수에서 가장 높은 결과를 달성했으며, 가장 강력한 기준선인 Gandalf보다 낮은 비용으로 운영되었습니다. GPT-5.6 Sol과 함께 사용했을 때 Sauron은 Gandalf의 0.92 대비 0.96의 F1 점수를 기록하며 23% 낮은 비용으로 프로세스 기준에 대해 더 넓은 마진을 보였습니다.

또한, 보상 해킹을 시뮬레이션하는 13개 가족을 포괄하는 오류 주입 테스트에서 Sauron은 주입된 실패의 97%를 감지하고 깨끗한 제어의 2%만 표시하여 기준선보다 우수한 성능을 보였습니다. 에이전트 오류 감지 및 위치를 위한 벤치마크인 TRAIL에서도 Sauron은 Gandalf와 TRAIL 자체 심사관 모두에게 세 가지 품질 측정 기준에서 선두를 차지했습니다.

LLM 에이전트가 장기 실행 시나리오에서 작동할 때, 클라우드 참여가 각 질의에 대한 단일 결정이 아니라 실행 전반에 걸쳐 교차되어 발생한다는 점이 아직 충분히 이해되지 않고 있습니다. 이러한 교차 참여는 궤적 수준의 효과를 발생시키며, 이를 체계적으로 평가하기 위해 장기 실행 에이전트에서의 엣지-클라우드 협업을 평가하는 벤치마크인 EC2-Bench를 소개합니다.

EC2-Bench는 실행 가능한 디지털 작업 공간 에이전트 과제와 작업 성능, 리소스 사용, 개인 정보 노출을 포괄하는 통합 평가 프레임워크를 제공합니다. 이 벤치마크를 사용하여 다양한 형태의 엣지-클라우드 협업을 실증적으로 연구한 결과, 협업은 엣지 전용 또는 클라우드 전용 실행에 비해 작업 성능, 리소스 사용, 개인 정보 노출 사이에서 유리한 균형을 달성한다는 사실이 밝혀졌습니다.

또한, 엣지 모델이 강력해질수록 협업 실행 접근 방식은 클라우드 전용 성능에 가까워지며 성능 차이는 줄어들지만, 개인 정보 노출은 여전히 전략에 크게 의존한다는 점이 확인되었습니다. 더 나아가, 엣지 능력이 강해질수록 선호되는 협업 방식은 외부 제어 클라우드 참여나 직접 클라우드 실행에서 엣지 제어 협업으로 이동하는 것으로 나타났습니다.

효과적인 협업을 위해서는 클라우드 호출 결정 및 지침 준수가 효과적인 협업을 위한 중요한 엣지 측 능력으로 식별되었습니다. 이 연구 결과는 장기 실행 에이전트에서의 엣지-클라우드 협업에 대한 체계적인 이해를 제공하며, 향후 클라우드 모델과 효과적으로 협업하는 엣지 에이전트를 설계하는 데 통찰력을 제공합니다.

소프트웨어 개발의 자원 배분 방식인 배급(Rationing) 시대는 끝났지만, 산업이 변화를 따라잡는 데는 시간이 걸리고 있습니다. 과거에는 엔지니어링 자원의 희소성 때문에 최소 기능 제품(MVP)이나 린 스타트업과 같은 제약 조건 속에서 제품이 설계되었으며, 이는 현재의 소프트웨어 구조에 깊은 영향을 미쳤습니다.

최근 Claude Code와 같은 AI 기술의 등장으로 소프트웨어 구축의 경제학이 역전되었습니다. 새로운 기능을 구축하는 비용은 거의 제로에 가까워졌지만, AI를 운영하는 데 필요한 비용은 사용자당 실질적인 한계 비용(marginal cost)으로 발생합니다. 이로 인해 소프트웨어는 고정 비용이 높고 한계 비용이 거의 없던 SaaS 모델에서, 낮은 고정 비용과 상당한 한계 비용을 갖는 제조 모델로 변화하고 있습니다.

이러한 경제적 변화에도 불구하고, 현재의 소프트웨어는 여전히 2015년의 제약 조건에 묶여 있습니다. 개발자들은 이제 과거의 제약에서 벗어나 훨씬 더 빠르고 쉽게 실험하고 새로운 기능을 구축할 수 있지만, 시장의 흐름과 산업의 관행이 이를 따라잡는 데는 시간이 필요합니다.

이러한 격차는 배포와 신뢰 구축에 대한 오랜 관행 때문에 발생합니다. 특히 대규모 기업들은 조직 구조를 변경하는 데 어려움을 겪고 있으며, 새로운 제품이 기존의 카테고리에 맞지 않을 경우 시장에서 성공하기 어렵습니다. 따라서 AI 시대에 새로운 패러다임이 자리 잡기까지는 기존의 관행과 새로운 경제적 현실 사이의 간극을 이해하는 것이 중요합니다.

지식 증류(KD) 프레임워크는 교사와 학생을 동일한 GPU에 배치하기 때문에 GPU별 메모리 제한으로 인해 교사의 수가 제한되는 문제가 있었습니다. 이에 DisaggKD는 교사와 학생을 노드 간에 분리하여 처리하는 방식을 제안합니다.

이 방법은 교사 복제본이 학생에게 은닉 상태를 스트리밍하고, 행 창 및 어휘 샤드에 대한 KD 손실이 전체 어휘 손실과 같도록 하며, 사전 채우기 링이 생산자와 트레이너를 조절하는 방식으로 작동합니다. 또한 폐쇄형 메모리 및 트래픽 모델을 사용하여 각 레이아웃의 메모리 한계를 파악합니다.

Qwen3.5-35B-A3B와 9B 쌍의 경우, 분산된 레이아웃은 동일한 손실을 갖는 함께 배치된 실행의 LM 손실과 일치하며 더 빠릅니다. 융합 손실 또한 함께 배치된 실행이 더 적은 노드에서 더 빠른 속도로 훈련할 수 있게 하며, 학생이 여러 노드를 걸칠 때 분할 방식은 메모리 효율적입니다.

하지만 더 큰 쌍에서는 융합 손실을 사용하더라도 분할 방식이 훈련하는 경우 여전히 메모리 부족(OOM)이 발생합니다. 이는 교사 가중치와 학생 상태가 예산을 채우기 때문이며, 이로 인해 메모리 효율성을 얻는 동시에 훈련 속도를 높이는 것 사이의 트레이드오프가 존재합니다.

장기 에이전트(Long-horizon agents)는 국소적인 반성이나 되돌아감만으로는 해결할 수 없는, 몇 단계 앞선 실패의 원인으로부터 복구하는 데 어려움을 겪습니다. 이에 연구진은 시도에 걸친 지속적인 증거와 복구 방향에 대한 예측적 추론을 결합한 프레임워크인 BELIEFWEAVER를 제안했습니다. 이 프레임워크는 프론티어, 시도, 관찰, 체크포인트에 대한 관계적 신념 상태를 유지하며, 실행 증거를 통해 프론티어 우선순위를 업데이트하고 진단 증거를 통해 실행을 제어합니다.

BELIEFWEAVER는 또한 암묵적인 세계 모델(IWM)을 사용하여 복구 가설을 평가하고 진행 상황을 예측하며 프론티어 간의 관계를 파악하여 탐색을 안내합니다. 이 IWM 추론 구성 요소를 지도 미세 조정(SFT)과 온-폴리 추론 증류(OPD)를 통해 90억 파라미터 학생 모델로 압축했습니다.

세 가지 종단 기반 벤치마크에서 BELIEFWEAVER는 네이티브 Terminus-2 연속 실행 대비 최종 점수를 5.1% 포인트 향상시키고 탐색 효율성에서 긍정적인 추세를 보였습니다. 특히 증류된 90억 파라미터 학생 모델은 보고된 네이티브 기준 대비 최종 점수를 9.8% 포인트 향상시켰으며, 매칭되는 교사 모델 대비 추정된 API 비용을 54.8% 절감했습니다. 이는 지속적인 증거와 예측적 추론이 장기 에이전트 작업에서의 복구를 개선하는 동시에 교사 모델 추론에 대한 의존도를 크게 줄일 수 있음을 보여줍니다.

AI 에이전트가 공개된 과학 연구 문제에 대해 실제로 연구를 수행할 수 있는지 평가하기 위한 벤치마크인 Into the Unknown을 소개합니다. 이 벤치마크는 에이전트에게 과학 논문과 연구 방향을 제공하고 후속 논문을 작성하도록 과제를 부여합니다. 연구의 질을 평가하기 어려운 상황에서, 제출물에 필요한 조건을 사용하여 평가 기준을 설정함으로써 참고 답이 없는 연구 문제에 대한 평가를 더 용이하게 만듭니다.

미국 에너지부(DOE) 국립 연구소의 과학자들과 협력하여 이 연구를 진행했으며, 각 과학자들은 자신의 연구에서 도출된 미발표 후속 연구 방향과 제출물이 충족해야 할 필수 조건을 제공했습니다. 이 실험에서는 양자 컴퓨팅, 플라즈마 물리학, 계산 화학, 재료 과학, 과학 기계 학습 등 다섯 가지 분야에서 아홉 개의 최첨단 에이전트가 각각 15개의 후속 논문을 작성했습니다.

총 135개의 제출물 중 114개가 무결성 검사를 통과하지 못했는데, 이는 논문이 실제로 수행되지 않은 작업을 주장하거나 기록된 증거와 모순되는 수치를 보고했기 때문입니다. 에이전트들은 후속 논문처럼 보이는 결과물을 쉽게 생성했지만, 이 중 어느 것도 해당 분야 과학자의 기준을 충족하지 못하여 상당한 격차가 있음을 보여줍니다.

이 연구는 AI 에이전트가 실제 과학적 연구를 수행하는 능력에 대한 현실적인 평가 기준을 제시하며, 코드와 데이터는 공개되어 있습니다.

비전-언어 모델(VLM)이 시각적 증거, 공간 구조, 제약 조건 및 상태 변화를 이해하는 것은 중요한 능력입니다. 기존의 평가 방법은 실제 데이터나 절차적으로 생성된 과제에 주로 의존해 왔는데, 이는 실제 데이터가 자연스러운 복잡성을 보존하는 반면, 절차적 게임은 제어 가능한 생성과 검증 가능한 해답을 제공한다는 차이가 있습니다. 따라서 게임에서 측정된 능력이 실제 시각적 추론과 일치하는지, 그리고 게임 예시가 실제 환경으로의 전이를 지원할 수 있는지에 대한 연구가 필요합니다.

이러한 질문에 답하기 위해 연구진은 게임과 실제 세계 간의 연결을 탐구하는 벤치마크인 Game2Real-Bench를 소개했습니다. 이 벤치마크는 세부 지각, 공간 추론, 제약 조건 추론, 순차적 계획을 포함한 네 가지 능력 그룹을 대상으로 합니다. 연구진은 실행 가능한 검증이 가능한 1,000개의 절차적으로 생성된 게임 샘플과 시각적 유사성이 아닌 공유 추론 요구 사항에 따라 정렬된 400개의 실제 세계 샘플을 구축했습니다.

25개의 대표적인 VLM을 평가한 결과, 게임과 실제 세계 간에 강력한 일관성이 관찰되었으며, 피어슨 및 스피어만 상관관계는 0.935를 기록했습니다. 또한, 네 가지 모델에 대한 단일 예시 게임에서 실제 세계로의 전이를 연구한 결과, 일부 모델에서는 제약 조건 추론 능력이 향상되었으나 세부 지각 능력은 게임 시연으로 인해 감소하는 상충 관계가 나타났습니다.

연구진은 추가적으로 18가지 작업과 65개의 QA 패밀리에 걸쳐 거의 24,000개의 검증된 게임 샘플을 포함하는 Game2Real-Dataset도 구축했습니다. 이 벤치마크, 데이터셋 및 코드는 https://github.com/QingAnLiu/Game2Real-Bench에서 공개되어 있습니다.

AI 시스템이 수학적 증명을 작성할 때 단계별 타당성을 확인하는 것이 병목 현상을 일으키고 있습니다. 학습된 검증기(verifier)를 저렴하게 훈련시키려면 모든 단계에 대한 정확성 레이블이 필요하지만, 이러한 레이블은 공개된 증명에 대해서는 얻기 어렵습니다. 기존 방법들은 비용이 많이 드는 인간 주석가에게 의존하거나 증명에 없는 최종 답변에서 레이블을 유도하는 방식이었습니다.

이에 연구진은 Lean 증명 보조 도구를 사용하여 자연어 증명에 대한 단계별 레이블을 생성하는 프레임워크인 LeanPRM을 소개합니다. 이 프레임워크는 Lean 증명 보조 도구를 활용하여 자연어 증명에 대한 단계별 레이블을 생성하며, 모델이 Lean 피드백 없이 자연어 증명과 쌍을 이루는 형식 증명을 작성하도록 합니다. 이후 Lean이 모든 단계를 레이블링하고, 두 번째 모델이 형식 구문으로 인한 실패만을 제거하여 부정적인 레이블이 수학적 오류를 표시하도록 합니다.

LeanPRM은 인간 주석 없이 10,634개의 증명과 152K개의 레이블링된 단계를 포함하고 있습니다. 이 프레임워크를 통해 훈련된 Qwen3-4B 검증기는 LeanPRM-Bench에서 정확한 단계 레이블 정확도를 48.2%에서 74.7%로 향상시켰습니다. 또한 이 검증기는 IMO-레벨 문제의 best-of-N 선택에서 더 나은 증명을 선택하며, 외부 검증 벤치마크에서 PRM800K 훈련 검증기보다 우수한 성능을 보였습니다.

LeanPRM은 레이블링에 인간의 개입이 필요 없기 때문에 형식적 진술의 공급에 따라 성장할 수 있으며, 인간이 확인하기 어려운 AI 생성 증명에 대한 단계별 피드백을 제공하는 길을 열어줍니다. 이는 0.6B에서 8B 파라미터에 이르는 다양한 크기의 검증기에서 성능을 개선하는 데 기여합니다.

LLM이 컨텍스트 내에서 정보를 복사하는 능력은 명시적인 모델링을 통해 개선될 수 있다는 연구 결과가 제시되었습니다. 연구진은 기존 언어 모델(LM) 헤드에 경량의 복사-붙여넣기 헤드(Copy-Paste head)를 추가한 복사-붙여넣기 언어 모델(CPLMs)을 제안합니다.

CPLMs는 훈련 효율성, 다운스트림 성능을 향상시키며 장문 컨텍스트 및 검색(retrieval) 설정에서 새로운 작동 지점을 제공합니다. 이 접근 방식은 LM 헤드의 기울기 병목 현상(gradient bottleneck)을 대체 기울기 경로를 통해 부분적으로 완화함으로써 성공을 거두었습니다.

연구진은 1억 3천 5백만 개에서 17억 개 매개변수를 가진 모델을 사전 훈련하여 모든 규모와 백본에서 훈련 및 추론 오버헤드가 미미한 상태로 성능 향상을 입증했습니다. 이는 CPLMs가 다양한 규모의 모델에 적용 가능하며 효율적인 학습을 가능하게 함을 보여줍니다.

장문 컨텍스트 훈련 시 구조화된 어텐션 마스크와 다중 노드 컨텍스트 병렬 처리(context parallelism)를 결합하면 마스크가 주요 병목이 됩니다. FlashMask는 열별 희소 마스크(column-wise sparse mask)를 사용하여 이 마스크를 O(n^2)에서 O(n)으로 압축하며, 네 개의 쿼리 축 경계 벡터를 통해 광범위한 구조 패턴을 커버합니다. 이 기술은 Ampere GPU에서 구현되었으며, 단일 GPU 커널과 호환되면서 경계 벡터에 대한 마스크 국소화를 통신 없는 clip-shift-max 연산으로 줄여줍니다.

FlashMask-3는 FlashAttention-3의 TMA/WGMMA 파이프라인 위에 마스크 인식 호퍼 커널을 도입하고, 마스크 인식 분산 확장을 추가하여 마스크 인식 분산 확장, 희소성 인식 로드 밸런서(HCC-IPO), 마스크 기반 통신 가지치기 등을 제공합니다. 이를 통해 마스크 인식 계산-통신 중첩을 달성하며, 전방(forward) 및 역방향(backward) 어텐션 계산 속도를 24.5%에서 44.9%까지 향상시킵니다.

실제 성능 측정 결과, 8K 시퀀스를 가진 4~32의 컨텍스트 병렬도에서 계산-통신 중첩 효율을 31%에서 75%까지 달성했습니다. 또한, 128K 컨텍스트에서 128개의 H100 GPU를 사용한 118B-A14B MoE의 엔드투엔드 훈련 시, Dual Chunk all-gather 기준 대비 처리량을 7.3%에서 11.0% 향상시켰습니다.

장문 컨텍스트를 가진 대규모 언어 모델의 어텐션 메커니즘 설계는 KV 캐시 크기, 훈련 및 프리필 FLOPs, 모델 품질 사이에서 해결하기 어려운 딜레마에 직면해 있습니다. 기존의 GQA는 높은 품질을 제공하지만 KV 캐시 오버헤드가 크며, 캐시를 압축하는 대안인 MLA는 품질 저하를, MFA는 훈련 및 프리필 연산을 크게 증가시키는 단점이 있었습니다.

이에 연구진은 가상 헤드 어텐션(Virtual Head Attention, VHA)을 제안했는데, 이는 두 가지 경량 선형 연산을 통해 이 세 가지 목표를 동시에 개선합니다. Q Premix는 물리적 쿼리 헤드의 절반에서 가상 헤드 다양성을 복구하며, Linear Postmix는 저랭크 잔차 구조를 통해 헤드 간 특징을 융합합니다. VHA는 비선형 연산을 도입하지 않아 추론 시 쿼리 및 출력 투영에 통합될 수 있으며, 이를 통해 표준 GQA-2 아키텍처로 모델을 단순화합니다.

VHA는 4K 컨텍스트에서 500B 토큰 사전 훈련 시 GQA 기준을 모든 규모에서 능가하며, GQA-8 대비 KV 캐시를 4배, MoE 규모에서는 GQA-4 대비 2배 줄입니다. 또한 훈련 및 프리필 FLOPs를 7.9% 감소시키며, 산업용 30B-A3B MoE 모델에서는 MLA와 GQA-4를 모두 능가하는 성능을 보였습니다.

특히 긴 컨텍스트 중간 훈련 단계에서 VHA는 GQA보다 평균 RULER 점수가 84.4로 더 높았으며, 전체 어텐션 레이어에서 네 개의 KV 헤드 대신 두 개의 KV 헤드를 사용하여 효율성을 극대화했습니다.

학습 불필요한 확산 기반 압축 방법은 확산 모델이나 흐름 모델의 생성적 사전 지식을 활용하여 모델을 재학습하지 않고 데이터를 압축하는 방식입니다. 최근 Turbo-DDCM과 같은 코드북 기반 접근 방식은 초저 비트레이트에서 강력한 지각 품질을 달성하지만, 밀집된 가우시안 코드북에 의존하기 때문에 메모리와 계산 비용이 크고, 최신 이미지 및 비디오 생성기의 큰 잠재 차원(latent dimensions)에 따라 확장성이 떨어집니다.

이에 본 논문은 가우시안 코드북을 암시적 무작위 하다마드 사전(Hadamard dictionaries)으로 대체하는 확장 가능한 생성 압축 프레임워크인 H-DDCM을 제안합니다. 빠른 왈시-하다마드 변환을 통해 전체 차원 사전(dictionary)을 명시적으로 구현하지 않고도 투영 및 재구성 계산에 O(d log d)의 연산과 O(d)의 메모리로 암시적으로 합성할 수 있습니다. 또한, 더 큰 차원에서 조합 인코딩을 실용적으로 만들기 위한 효율적인 표 기반 렉시그래픽 코딩 방식도 도입했습니다.

나아가 이 프레임워크를 자기회귀 비디오 흐름 모델에 적용하여 스트리밍 압축 방식을 개발했습니다. 이 방식은 최근 재구성된 프레임을 새로운 KV-캐시 접두사로 주기적으로 재인코딩하여 추가 전송 비트 없이 세그먼트 전반에 걸쳐 시간적 맥락을 보존합니다. 이는 단일 GPU에서 장시간의 실시간에 가까운 생성 비디오 압축을 가능하게 합니다.

H-DDCM은 이미지 및 비디오 벤치마크에서 경쟁력 있는 속도-왜곡-지각 성능을 달성하면서도 코드북 기반 생성 압축의 메모리 및 계산 오버헤드를 상당히 줄여줍니다.

Cowork 에이전트는 도구와 파일 간의 의존성을 탐색하고 공유 작업 공간의 변경 및 사용자 요구사항에 적응해야 하는 복잡한 환경을 다룹니다. 이러한 환경을 확장하기 위해서는 작업 목표, 실행 가능한 자원, 사용자 행동, 성공 기준 간의 일관성을 유지하는 것이 필수적입니다.

본 연구는 생성된 환경을 검증하고 수정하기 위해 실행 증거와 검토 피드백을 사용하는 빌드-실행-수정 루프를 통해 Cowork 환경을 합성하는 프레임워크인 Cowork-Gym을 소개합니다. 또한 현실적인 Cowork 역학을 포착하기 위해 대화와 공유 작업 공간 직접 편집을 통해 에이전트의 행동에 반응하는 상태 기반 사용자 시뮬레이터를 도입했습니다.

연구진은 14가지 애플리케이션 시나리오에 걸쳐 64.9K개의 환경을 합성했으며, 이를 사용하여 9B, 27B, 35B-A3B Qwen 모델을 지도 미세 조정(SFT), 강화 학습(RL), 온-폴리 정책 증류(on-policy distillation)를 통해 추가 학습시켰습니다. 그 결과, 이 모델들은 해당 기본 체크포인트보다 각각 8.7, 6.4, 4.1 포인트 더 높은 성능을 보였습니다.

특히 Ours-27B 모델은 평가된 모델들 중 전반적으로 두 번째로 높은 순위를 차지했으며, PawBench와 ClawEval에서 가장 높은 평균 점수를 달성하여 총 파라미터 수가 100B를 초과하는 모델들보다 우수한 성능을 입증했습니다.

비디오 모델이 더욱 현실적이고 상호작용적인 경험을 가능하게 함에 따라, 세계의 일관성을 유지하는 것이 필수적인 과제가 되었습니다. 이는 이전에 관찰된 콘텐츠를 보존하고 시간 경과에 따른 세계의 일관된 진화를 보장해야 함을 의미하며, 세계 기억(World memory)은 시각적 충실도나 비디오 길이에 더해 평가되어야 할 핵심 능력입니다.

이러한 필요성을 평가하기 위해 연구진은 비디오 세계 모델의 세계 기억을 체계적으로 평가하는 벤치마크인 WorldMemBench를 소개했습니다. 이 벤치마크는 260개의 테스트 케이스를 통해 정적 기억과 동적 기억을 모두 측정합니다. 정적 기억은 인간의 정체성과 외모, 객체의 외모 및 기하학, 환경 콘텐츠 및 기하학의 보존을 통해 평가되며, 동적 기억은 이벤트 진행과 상태 지속성을 통해 평가됩니다.

WorldMemBench는 제어된 카메라 이탈 및 다중 재방문 궤적을 사용하여 정적 콘텐츠를 고정된 초기 참조와 비교하고 동적 이벤트를 예상되는 상태 전환과 비교합니다. 이 벤치마크는 외모 및 기하학 측정과 이벤트별 평가를 결합하며 비디오 품질과 카메라 추적 정확도를 보완적인 진단 지표로 보고합니다.

대표적인 아홉 가지 모델에 대한 평가 결과는 강력한 정적 보존이 반드시 신뢰할 수 있는 동적 상태 진화를 의미하지는 않음을 보여줍니다. 또한 반복적인 재방문은 첫 번째 복귀 이후에도 기억의 저하가 발생함을 드러냅니다. 이러한 자동 평가 결과는 인간의 판단과 일치하며, WorldMemBench는 기억 실패를 진단하고 지속적이며 시간적으로 일관된 비디오 세계를 개발하는 데 필요한 체계적인 테스트베드를 제공합니다.

Harness 자기 진화를 통해 모델 가중치를 고정한 채 에이전트의 소프트웨어 골격, 즉 프롬프트, 메모리, 워크플로우, 실행 가능한 구성 요소를 수정할 수 있습니다. 이 프레임워크는 수용된 수정 사항이 여러 실행에서 지속되도록 하는 피드백 기반 프로세스를 정립하며, 업데이트 대상과 제안 및 승인 메커니즘을 분리합니다. 이는 해석된 상태의 변경과 도구, 코드, 저장소 수준 제어 논리, 플러그인 구성의 수정을 구별하는 방식으로 작동합니다.

연구진은 진화적 최적화를 통해 탐색을 특징화하고 지속적인 PAC-학습을 통해 신뢰성을 검증합니다. 이 분석을 통해 명시적인 가정 하에 예상 일반화 경계, 역사적 회귀 예산에 조건화된 유지 경계, 그리고 신선하고 독립적인 검증 데이터를 사용하여 높은 확률의 승인 규칙을 도출합니다.

이 연구는 지속적인 하네스 수정이 지식 공유 및 조직 워크플로우에 미치는 영향을 조사하며, 과학적 신뢰성, 물리적 안전, 그리고 기관의 책임에 대한 함의를 탐구합니다. 모델-하네스 공동 설계, 분산 실행, 플러그인 재사용 사례를 통해 이러한 접근 방식이 실질적인 배포에 어떻게 적용될 수 있는지 보여줍니다.

안정적인 배포를 위해서는 작업 분포와 평가자가 변화함에 따라 지속적인 검증이 필요하며, 학습, 런타임 권한, 결과적 조치에 대한 독립적인 안전장치가 요구됩니다. 관련 이론, 알고리즘, 평가 및 광범위한 영향을 다루는 포괄적인 논의는 GitHub에서 제공됩니다.

복잡하고 장기적인 에이전트 작업은 일반적으로 강력한 성능을 위해 클라우드에 배포된 최첨단 모델에 의존하지만, 전체 경로의 모든 단계에 대해 이 모델을 사용하는 것은 상당한 추론 비용을 발생시킵니다. 연구진은 모든 단계가 동일한 수준의 모델 능력을 요구하지 않을 수 있다는 점을 발견했으며, 핵심 단계에만 LLM을 할당해도 전체 LLM 실행과 유사한 성능을 달성하면서 추론 비용을 크게 줄일 수 있음을 입증했습니다.

이에 따라 연구진은 EdgeWise라는 엣지-클라우드 협업 프레임워크를 제안했습니다. 이 프레임워크는 로컬 장치에 SLM(Small Language Model)을 기본 솔버로 배포하고, 더 강력한 모델 용량이 필요할 때만 클라우드 LLM으로 중요한 단계를 선택적으로 위임합니다. 또한 추론 시 추가 모델 없이 자율적인 위임을 가능하게 하기 위해, 작업 해결과 위임을 공동으로 최적화하고 개별 위임 결정에 대한 세밀한 신용 할당을 포함하는 단계별 강화 학습 방법을 도입했습니다.

EdgeWise는 위임 시점, 위임 결정 방식, 공유할 컨텍스트, 클라우드 LLM 호출 빈도 등 엣지-클라우드 협업의 주요 설계 선택 사항을 체계적으로 조사하기 위해 외부 심사관 기반 위임 전략을 사용합니다. 실험 결과, EdgeWise는 순수 LLM 실행과 동등하거나 더 나은 성능을 보였으며, SWE-Rebench에서는 최대 62%, Terminal-Bench 2.1에서는 34%의 추론 비용을 절감했습니다.

나아가 EdgeWise를 로컬 워크스테이션에 배포하여 실제 엣지-클라우드 환경에서 비교 가능한 비용 절감 효과를 입증했습니다. 이는 복잡한 에이전트 작업을 수행할 때 비용 효율성과 성능을 동시에 달성하는 새로운 접근 방식을 제시합니다.

비디오 자막 제거(VSR)는 중요한 비디오 복원 작업이지만, 기존의 평가 방식은 저해상도 데이터셋, 파편화된 테스트 세트, 그리고 국소적인 복원 오류나 시간적 불안정성을 제대로 포착하지 못하는 일반적인 비디오 인페인팅 프로토콜로 인해 한계가 있었습니다. 이에 본 논문에서는 미세한 수준과 신뢰도에 기반한 비디오 자막 제거 평가를 위한 대규모 다중 스타일 벤치마크인 MFVSR을 소개합니다.

MFVSR은 세 가지 핵심 특징을 통해 기존 평가의 한계를 극복합니다. 첫째, 3,000개의 쌍으로 이루어진 Real-HQ, Real-LQ, AI 생성 소스의 비디오와 실제 환경 분석을 위한 953개의 실세계 비디오를 포함하는 대규모 및 다양한 데이터셋을 제공합니다. 둘째, 공간 배치, 시간적 행동, 시각 스타일, 언어 모드를 포괄하는 16개 언어와 네 가지 요소를 다루는 자막 다양성을 통제합니다.

셋째, 정보 조건화된 공간 분리 프로토콜을 도입하여 마스크 기반 제거와 블라인드 제거를 분리하고 복원 충실도(Restoration Fidelity), 보존 충실도(Preservation Fidelity), 시간적 충실도(Temporal Fidelity), 커버리지, 실패 여부를 측정합니다. 실험 결과는 기존의 전체 프레임 지표가 가리는 국소 복원, 영역 외 보존, 시간적 일관성, 전체 집합 신뢰도 사이에 상당한 불일치가 있음을 보여줍니다.

따라서 MFVSR은 비디오 자막 제거 방법을 평가하고 발전시키기 위한 보다 포괄적이고 진단적인 기반을 제공합니다.

멀티모달 대규모 언어 모델(MLLM)의 발전과 함께 비디오 이해 능력 평가의 중요성이 커지고 있습니다. 기존의 비디오 이해 벤치마크는 평가 차원의 일부만 다루어 있어 전체적인 옴니모달 비디오 이해를 체계적으로 진단하는 데 한계가 있었습니다. 이에 연구진은 옴니모달 비디오 그라운딩 및 이해를 위한 포괄적인 벤치마크인 OmniCompass를 소개했습니다.

OmniCompass는 두 가지 평가 트랙으로 구성되어 있으며, 시각적 증거가 필요한 작업에 대한 비전-언어 모델을 평가하는 OmniCompass-VL과 오디오-시각 증거가 필요한 작업에 대한 옴니모달 모델을 평가하는 OmniCompass-AV로 나뉩니다. 각 트랙에는 시간적 그라운딩(TG), 공간적 그라운딩(SG), 질문 응답(QA)이라는 세 가지 상호 보완적인 작업이 포함됩니다. OmniCompass-VL은 5가지 지각 및 3가지 추론 범주를 포함하는 QA를, OmniCompass-AV는 3가지 지각 및 2가지 추론 범주를 포함하는 QA를 평가합니다.

OmniCompass-VL은 짧고, 중간, 긴 세 가지 지속 시간 유형에 걸쳐 820개의 비디오와 2,460개의 인스턴스를 포함하며, OmniCompass-AV는 내러티브 및 오디오가 풍부한 240개의 비디오와 720개의 인스턴스로 구성되어 있습니다. 모든 인스턴스는 텍스트 전용 및 텍스트+이미지 설정 하에서 동일한 대상을 텍스트와 시각 언어 안내를 통해 지정하여 평가되었으며, 모든 인스턴스는 다중 라운드 품질 검증을 거쳐 수동으로 주석 처리되었습니다.

50개의 MLLM에 대한 평가 결과, 특히 오디오-시각 이해 능력에서 오픈 소스 모델이 독점 모델에 뒤처지는 것으로 나타났습니다. 또한, 선도 모델들조차도 정확한 시간적 및 공간적 그라운딩을 달성하는 데 어려움을 겪으며, 예측 결과는 쌍으로 지정된 대상 사양 전반에 걸쳐 불일치를 보였습니다.

구조적 가지치기(Structured Pruning)는 모델 구성 요소를 제거하여 더 작은 밀집 모델을 생성함으로써 LLM 추론 비용을 줄이는 방법입니다. 하지만 기존의 방법들은 AIME과 같은 장문 추론 작업에서 추론 성능이 저하되는 문제를 일으킬 수 있습니다. 이에 연구진은 어텐션과 디코더 깊이를 보존하면서 중복되는 디코더 레이어와 해당 MLP 특징을 선택적으로 자르는 훈련 없는 구조적 가지치기 방법인 LayerTrim을 제안했습니다.

LayerTrim은 기울기나 복구 훈련 없이 장문 추론 능력을 보존하도록 설계된 최초의 훈련 없는 구조적 가지치기 방법입니다. 세 가지 추론 언어 모델과 다섯 가지 벤치마크에서 LayerTrim은 기존의 구조적 가지치기 방법들을 능가했으며, RESP 대비 평균 정확도를 최대 21.4퍼센트 포인트 향상시켰습니다.

특히 Qwen3-14B 모델에서 LayerTrim은 밀집 모델 대비 프리필(prefill) 속도를 1.24배 빠르게 하고 최대 GPU 메모리를 19.7퍼센트 절감하면서도 추론 능력을 더 잘 보존했습니다. 또한 평가된 가지치기 모델 중에서 가장 짧은 평균 생성 길이를 달성하면서도 가장 높은 평균 정확도를 유지했습니다.

이러한 결과는 LayerTrim이 구조적 압축과 토큰 생성 감소를 통해 추론 효율성을 개선함을 입증합니다.