읽을 가치가 있는 기사만, 짧고 또렷하게.

확산 모델과 자기회귀(AR) 모델의 장점을 결합하는 하이브리드 모델을 위해 디코딩 스케줄을 설계하는 새로운 원리가 제시되었습니다. 이 연구는 한 모델의 디코딩 스케줄 성능을 실제 디코딩 전에 예측할 수 있는지에 초점을 맞춥니다.

연구진은 확산 모델, AR 모델, 그리고 이 둘 사이의 모델들을 하나의 오염 격자(corruption lattice) 상의 경로로 설명하고, 스케줄의 비용을 병렬 단계에서 버려지는 의존성에 정의했습니다. 이 비용은 데이터의 기하학에 의해 결정되며, 특히 마르코프 그래프 상에서 경로를 따라 의존하는 데이터의 경우, 최소 단계 수는 그래프의 트리 깊이와 같아집니다. 트리 깊이는 시퀀스 길이의 로그에 비례하고 그리드의 측면 길이에 선형적으로 비례합니다.

이러한 비용을 바탕으로 사전 학습된 가중치에서 추정한 쌍별 의존성 커널을 사용하여 디코딩 전에 스케줄의 순위를 예측합니다. 이 방법은 텍스트, 이미지, 비디오 생성에 걸쳐 다양한 지표와 벤치마크 하에서 스케줄의 순위에 대한 대부분의 예측을 검증했습니다.

결과적으로 이 연구는 향후 AR 모델, 확산 모델 및 이 둘 사이의 모든 모델에 대한 디코딩을 위한 설계 원칙을 제공합니다. 개발자들은 이 결과를 활용하여 모델의 디코딩 전략을 보다 효율적으로 설계할 수 있습니다. 코드는 https://github.com/TSUITUENYUE/The-Lattice-of-Transition-Laws에서 확인할 수 있습니다.

장기 코딩 에이전트는 시의적절한 수정이 필요하지만, 피드백이 진행 중인 작업이나 근본적인 문제를 잘못 판단하거나 해결하지 못하면 비효율적이거나 심지어 해로울 수 있습니다. 기존의 비평가들은 궤적을 평가하고 피드백을 생성하는 데 중점을 두지만, 피드백 제공 후 에이전트가 취하는 후속 조치를 추적하지는 못합니다.

본 논문은 각 수정을 해결될 때까지 지속적인 메모로 취급하는 언어적 비평 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자를 사용하여 문제를 진단하며, 피드백 전달 전에 가시적인 증거와 비교하여 검토를 수행합니다. 또한 에이전트의 후속 행동을 추적하여 단순한 준수와 실제 해결을 구별해냅니다.

테스트 시 비평가로서 Opera는 네 가지 정책 모델에 대해 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 최대 12.4, 15.0, 8.9 퍼센트포인트의 해결률을 개선했습니다. 이는 경쟁 비평 기준선들 중에서 가장 높은 평균 해결률을 달성했으며, 정책이 스스로 비판할 때 정책 모델을 개선하는 효과도 보였습니다.

또한 Opera 기반 롤아웃은 추론 시 비평가 없이도 약 10.2 퍼센트포인트의 해결률 개선을 제공하며, 이는 더 강력한 모델의 롤아웃 학습과 유사한 결과를 보였습니다. 이 데이터는 에이전트의 성능을 유지하면서 Openhands에서 Terminus-2로 전환할 때 성능 저하를 방지하는 데도 기여합니다.

변형 가능한 선형 객체(DLOs)인 케이블과 같은 물체의 학습 시뮬레이터는 훈련되지 않은 케이블의 움직임을 예측하고 장시간 안정성을 유지하는 데 어려움을 겪습니다. 대부분의 예측 오류는 케이블이 자기 자신이나 바닥에 닿는 부분에서 발생합니다. 이는 어텐션 메커니즘이 기하학적 개념을 알지 못하기 때문에 발생하며, 케이블은 탄성력을 지배하는 호 길이 거리와 접촉을 지배하는 유클리드 거리를 두 가지 쌍별 거리로 가집니다.

연구진은 어텐션 로짓에 학습된 비율을 가진 추가 항을 더하여 모델이 어떤 거리를 사용해야 할지 선택하도록 하는 물리적 어텐션 편향(physical attention bias)을 제안했습니다. 이 편향을 적용한 결과, 모델은 이전에 학습하지 않은 케이블에 대한 예측 성능이 향상되었습니다. 특히 어텐션이 먼 세그먼트를 연결하는 유일한 메커니즘일 때, 호 길이 편향은 예측 오류를 15% 감소시키고 세그먼트 길이의 드리프트를 절반으로 줄이는 가장 큰 이점을 보였습니다.

유클리드 편향만 적용하는 것은 편향되지 않은 어텐션과 유사한 결과를 보였으며, 모든 측정 지표에서 두 거리를 헤드에 걸쳐 할당하는 것이 가장 좋거나 거의 최적의 성능을 보였습니다. 이 연구는 물리적 제약을 어텐션 메커니즘에 통합하여 시뮬레이션의 정확도를 높이는 방법을 제시합니다. 관련 코드와 실행 기록은 GitHub에서 확인할 수 있습니다.

AI 코딩 에이전트가 실행하는 SKILL.md 지침과 스크립트인 에이전트 스킬은 개발자들이 저장소 간에 복사하여 공유함으로써 레지스트리, 버전, 출처(provenance)가 없는 소프트웨어 공급망을 형성하고 있습니다. 이로 인해 복사된 스킬의 원천, 보안 패치의 도달 범위, 검토가 필요한 저장소 등을 파악하기가 불가능합니다.

연구진은 GitSkills의 모든 SKILL.md에 대한 git 기록을 기반으로 에이전트 스킬의 최초 날짜별 복사 네트워크를 구축했으며, GitHub 전반의 2,193,119건의 스킬 채택을 포함하는 데이터를 제공합니다. 이 분석 결과, 대부분의 복사는 소수의 저장소에서 시작되며 GitHub 별표(star)로는 이를 식별할 수 없다는 사실이 밝혀졌습니다.

이러한 복사본들은 원본과 거의 변경되지 않기 때문에 원본에서 이루어진 보안 패치가 해당 복사본에 도달하기 어렵습니다. 연구진은 다른 저장소들이 어디에서 복사했는지 모델을 구축하여 감사(audit)를 위한 저장소를 순위화했습니다. 이 순위를 통해 상위 100개 저장소를 검토하면 향후 고위험 스킬 채택의 14.9%를 방지할 수 있으며, 이는 가장 인기 있는 100개 저장소의 0.5%보다 훨씬 높은 수치입니다.

따라서 플랫폼들은 복사본 대신 버전화된 참조를 배포해야 하며, 보안 엔지니어들은 스킬이 확산되기 전에 검토할 수 있는 짧은 목록을 확보할 수 있습니다.

3D 파운데이션 모델의 점-쌍 거리 추정 능력을 평가하기 위한 통합 벤치마크인 Pumpire가 발표되었습니다. 이 벤치마크는 깊이 사전 정보(depth priors) 유무와 관계없이 이미지 및 비디오 수준의 3D 모델이 재구성한 기하학적 공간에서 점-쌍 거리를 직접 평가하는 것을 목표로 합니다.

기존 접근 방식들은 깊이와 카메라 내부 파라미터를 별도로 평가하거나 기하학적 유사성 측정으로 포인트 클라우드를 평가하여 모델의 직접적인 점-대-점 거리 추정 능력을 반영하지 못했습니다. Pumpire는 이러한 한계를 극복하고 재구성된 기하학으로부터의 점-쌍 거리를 직접 측정하여 모델의 근본적인 물리적 규모 인식 능력을 평가합니다.

이를 위해 연구팀은 물리적으로 측정된 점-쌍 거리가 주석 처리된 100개의 실제 장면과 64프레임으로 구성된 대규모 데이터셋인 pumpire-6k를 수집했습니다. 이 데이터셋을 기반으로 이미지 및 비디오 수준의 3D 파운데이션 모델을 포괄하는 평가 프로토콜을 확립하여 점-쌍 거리 오류와 교차 설정 비교를 직접적으로 수행할 수 있게 되었습니다.

연구진은 이 벤치마크를 통해 기존 평가 프로토콜이 간과했던 재구성된 3D 공간에서 물리적 규모를 인식하고 추정하는 보다 근본적인 능력을 측정하고자 합니다. 이 벤치마크는 29가지 기준 3D 파운데이션 모델 구성에 걸쳐 광범위한 실험을 수행하고 결과를 종합적으로 분석하여 제공합니다.

기존의 개방형 심층 연구(OEDR) 시스템은 보고서를 처음부터 생성하기 때문에 새로운 정보가 등장할 때 보고서를 지속적으로 유지하는 데 비효율적입니다. 이에 연구진은 보고서를 진화하는 연구 상태로 간주하고 유효한 지식을 보존하며, 오래되거나 불완전한 내용을 수정하고 새로운 정보를 통합함으로써 점진적으로 업데이트하는 인크리멘털 개방형 심층 연구(Incremental-OEDR)라는 연구 설정을 제안합니다.

이러한 설정을 지원하기 위해 보고서를 개요, 섹션, 지원 증거의 구조화된 컬렉션으로 표현하는 구조화된 하네스(Structured Harness)를 제안했습니다. 이는 선택적인 보고서 업데이트와 증거 재사용을 위해 구조화된 검색, 영구적인 구조화된 증거 풀, 구조화된 생성을 제공합니다. 또한 10년간의 시간적 평가 프레임워크를 통해 단일 단계 작업과 장기 체인 작업을 사용하여 점진적 업데이트를 평가했습니다.

오픈 소스 구성(OC)과 독점 구성(PC) 모두에서 광범위한 실험 결과는 인크리멘털-OEDR이 보고서의 경쟁력 있는 품질을 유지하면서 보고서의 연속성을 크게 향상시키고 연구 비용을 절감함을 보여줍니다. 이 시스템은 DeepResearch 벤치에서 OEDR보다 최대 0.51 높은 내용 수준 ROUGE-L F1, 0.63 높은 개요 수준 EM F1을 달성했습니다.

더불어 인크리멘털-OEDR은 토큰 소비량을 33% 줄이고 검색 호출 횟수를 61% 감소시켜 기존 OEDR 대비 효율성을 높였습니다. 이러한 결과는 연구 보고서를 지속적으로 관리해야 하는 환경에서 연구 효율성과 품질을 동시에 개선하는 데 중요한 의미를 가집니다.

Memento 3는 반성적 규칙서(Reflective Rulebooks)를 통해 모델 기반 재귀적 자기 개선(RSI)을 가능하게 하는 새로운 학습 프레임워크입니다. 이 시스템은 고정된(frozen) LLM 에이전트가 외부 메모리를 통해 명시적인 세계 모델을 지속적으로 학습하도록 설계되었습니다. 에이전트는 환경 역학에 대한 수정 가능한 가설을 기록하는 자연어 규칙서를 영구적인 의미론적 기억으로 유지하며, 이를 예측과 계획을 위한 실행 가능한 코드로 컴파일합니다.

에이전트는 관찰, 반성, 규칙 수정, 컴파일, 검증의 지속적인 루프를 통해 예측 오류를 활용하여 규칙서와 코드 모두를 정제합니다. 특히 코드 업데이트는 LLM이 규칙서에 충실한지 판단하고 셀-정확한 재현(cell-exact replay)이 관찰된 전환을 재현하는지 확인한 후에만 수용됩니다. 이러한 과정을 통해 에이전트는 환경을 자율적으로 탐색하고 세계 모델을 수정하며, 검증된 업데이트를 바탕으로 후속 상호작용과 학습을 안내하여 자기 개선을 이끌어냅니다.

이러한 접근 방식은 여러 세계 모델을 병렬로 유지하고 상호작용 증거를 공유하는 인구 확장(population extension)을 통해 더욱 확장될 수 있습니다. 구체적인 결과로 ARC-AGI-3에서는 단일 모델 에이전트가 25개의 공개 게임 레벨을 모두 클리어했으며, 평균 상대 인간 행동 효율성(RHAE) 100.0을 달성했습니다. 또한 Atari Pong 사례 연구에서는 추가적인 LLM 호출 없이 학습된 피드백 컨트롤러가 세 번의 평가된 에피소드 모두에서 21:0으로 승리했습니다.

블랙박스 최적화(BBO)는 목표 평가가 비용이 많이 들고 제한적인 과학 및 공학 문제에서 발생합니다. 최근 대규모 언어 모델(LLM) 에이전트는 작업 의미론, 계산, 최적화 도구, 피드백 기반 의사 결정을 결합하여 BBO에 접근하는 새로운 방법을 제시하며 수학적으로 엄밀한 도구와의 통합을 통해 큰 잠재력을 보입니다. 하지만 기존의 에이전트 기반 BBO 연구들은 서로 다른 작업 영역과 시스템 구성을 사용했기 때문에 결과 비교가 어렵고 개별 설계 선택의 효과를 분리하기가 힘든 한계가 있었습니다.

이러한 문제를 해결하기 위해 연구진은 합성 함수, 하이퍼파라미터 최적화, 데이터베이스 튜닝, 칩 설계, 분자 설계 등 다섯 가지 영역을 포괄하는 에이전트 기반 BBO를 위한 교차 영역 벤치마크인 AgenticBBO-Bench를 도입했습니다. 이 벤치마크는 통일된 유한 예산 평가 프로토콜 하에서 에이전트 기반 BBO를 측정합니다. 실험 결과, 에이전트 기반 BBO는 모든 다섯 영역에서 직접적인 LLM 기반 방법론보다 높은 가족 평균 점수를 달성했으며, 네 영역에서는 최고의 수치적 최적화 도구보다도 더 우수한 성능을 보였습니다.

연구진은 에이전트 성능을 형성하는 세 가지 요인, 즉 최적화 도구, 작업 정보 및 사전 지식, 그리고 탐색 중 LLM의 역할에 대해 추가로 연구했습니다. 그 결과, 추가적인 수치적 도구가 성능을 일관되게 향상시키지는 않으며, 작업 의미론은 광범위하게 유용하지만 더 구체적인 사전 지식은 덜 신뢰할 만하다는 사실을 발견했습니다. 또한 수치적 최적화 도구는 에이전트가 확립한 탐색 궤적에서 얻은 이득을 효과적으로 흡수할 수 있음을 확인했습니다.

마지막으로 AgenticBBO-Bench 내에 다섯 가지 작업 프론티어 챌린지를 도입하여 일곱 개의 LLM을 Codex 에이전트 하네스 내에서 평가했습니다. 이 평가에서 GPT-6 Astra와 DeepSeek-V4.1-Flash는 성능과 비용 측면에서 파레토 전선에 위치하는 것으로 나타났습니다. 관련 코드는 GitHub에서 확인할 수 있습니다.

장기 에이전트가 제한된 컨텍스트 창 내에서 역사를 압축하지만, 텍스트 요약만으로는 모든 후속 결정을 뒷받침하기 어렵다는 문제가 제기되었습니다. 이를 해결하기 위해 본 연구는 요약에 부드러운 메모리 토큰을 보충하는 신경 메모리 네트워크인 REMORY를 소개합니다.

REMORY는 전체 기록과 요약을 바탕으로, 고정된 LLM이 전체 기록으로 생성할 수 있는 연속을 근사화하는 데 도움이 되는 토큰을 생성하도록 학습합니다. 이 토큰들은 요약을 조건으로 하여 요약 뒤에 추가되어 시퀀스 차원에서의 잔차 연결(residual connection)과 유사한 역할을 수행합니다.

SummHay 벤치마크에서 REMORY는 통찰력 범위는 거의 변하지 않으면서도 소스 귀속을 개선하고, 입력 위치의 5.2%만을 사용하여 전체 컨텍스트의 결합 점수에 근접하는 성과를 보였습니다. 또한, 장기 에이전트 벤치마크에서 Qwen3.8-27B와 GLM-5.3-Flash 모델은 잔차 메모리를 통해 일관된 성능 향상을 보였습니다.

이러한 잔차 메모리는 BrowseComp 및 Terminal-Bench 2.1에서 반복적인 도구 출력과 도구 오류를 현저히 줄이는 추가적인 이점도 제공합니다.

현재 3D 생성 방법은 기하학적 일관성이 전역적인 제어 강도에 의해 정의되며 외관을 국소적으로 지정할 수 없다는 한계가 있습니다. 이에 SpaceFlow는 텍스트 설명과 기하학적 기본 요소(geometric primitives)를 사용하여 국소적으로 제어 가능한 3D 생성을 위한 학습 없는 파이프라인을 제시합니다.

SpaceFlow에서 각 기본 요소는 객체 부분의 대리물 역할을 하며 국소 제어 수준을 할당하여 사용자가 해당 영역이 입력 모양을 엄격히 따르도록 할지 또는 생성적 완성을 허용할지 지정할 수 있게 합니다. 구조 생성 과정에서 이러한 공간 제약 조건을 생성 흐름 내에서 강제하여 기하학적 일관성을 유지합니다.

외관 합성을 위해서는 생성된 구조를 분할하고 기본 요소와 일치시켜 각 생성된 부분이 할당된 텍스트나 이미지 단서에만 조건화되도록 하여 부분 간 누수를 제한합니다. 지역 기하학 측정 결과는 SpaceFlow가 높은 제어 영역에서는 지정된 기하학을 보존하면서도 낮은 제어 영역에서는 그럴듯한 모양 변화를 가능하게 함을 보여줍니다.

사용자 연구에 따르면 기하학적 충실도와 생성적 자유도의 균형이 전반적인 품질 면에서 경쟁력을 유지합니다. 또한 고정된 기하학에 외관을 평가할 때 텍스트 기반 라우팅은 최고 수준의 프롬프트 충실도와 색상/재질 정확도를 달성하며, 이미지 단서의 국소적 라우팅을 통해 시각적 결과도 향상됩니다.

밀집 대응 매칭은 역사적으로 부드러운 움직임이나 강체 기하학 같은 단순화된 시공간 사전 정보에 의해 제한되어 왔습니다. 이러한 가정은 고전적인 작업에서는 효과적이지만, 이미지 편집 및 참조 기반 생성(IEG)과 같이 시각적 정체성을 보존하면서 물리적 연속성을 깨는 변형이 가능한 상황에서는 한계를 보입니다.

이러한 변형 전반에 걸쳐 정체성을 보존하는 대응 관계를 확립하기 위해, 우리는 FreeMatching이라는 일반화된 프레임워크를 소개합니다. FreeMatching은 고전 데이터셋, 추적된 비디오, 합성 장면 등 이질적인 지도(heterogeneous supervision)로부터 생성적 및 의미론적 기반 표현을 결합하여 학습합니다.

나아가, 교사 기반 반복 정제(Teacher-guided iterative refinement)를 통해 밀집 대응 주석 없이도 IEG에서의 대응 관계를 더욱 개선할 수 있습니다. 실험 결과, 단일 FreeMatching 모델은 까다로운 IEG 이미지 쌍에서 대응 품질을 상당히 향상시키면서도 고전 벤치마크에서 경쟁력 있는 성능을 유지합니다.

또한, 우리는 정체성 보존을 평가하기 위한 정량적 지표로서 FreeMatching의 유용성을 입증했으며, 이 점수는 인간의 판단과 상관관계를 보입니다. 관련 코드는 GitHub에서 공개되어 있습니다.

비디오 생성 모델은 그럴듯한 시각적 궤적을 합성할 수 있지만, 장기적인 절차적 작업은 실제 결과에 적응하도록 생성을 요구합니다. 모델은 생성된 상태에서 다음 행동을 결정하고, 그 행동을 실행하며, 작업이 완료되었는지 인식해야 합니다. 현재의 개방 루프 생성 방식은 실행 결과에 적응할 수 없으며, 기존의 폐쇄 루프 시스템은 사전 훈련된 실행기나 간접적인 검증에 의존하여 행동 결정과 성공적인 실행 사이에 간극이 존재합니다.

이러한 간극을 해소하기 위해 절차적 비디오 생성을 시각적 세계 공간에서의 폐쇄 루프 작업 실행으로 공식화하고 WorldGuide를 도입했습니다. WorldGuide는 초기 이미지와 작업 목표만으로 원자적 행동을 예측하고, 해당 비디오 클립을 생성한 다음, 생성된 결과를 사용하여 다음 행동을 선택하거나 작업을 종료합니다. 계획기(Planner)와 실행기(Executor)는 동일한 단계별 절차 시연 데이터로 훈련되며, 계획기는 시각적 진행 상황에서 다음 원자적 행동이나 작업 완료를 예측하도록 학습하고 실행기는 예측된 행동을 직접 실현하도록 훈련됩니다.

이러한 접근 방식을 통해 장기적인 실행에서 상태를 유지하면서 제한된 이력 토큰 비용을 유지하는 계층적 시각적 메모리를 활용합니다. 계획기와 실행기를 공동으로 훈련하기 위한 단계별 행동-비디오 감독이 부족했기 때문에, 245개의 작업과 27개의 절차 범주에 걸쳐 약 59K개의 단계 주석 비디오로 구성된 WorldGuide 벤치마크를 제시합니다. WorldGuide는 WorldGuide-Bench에서 33.33%의 작업 성공률을 달성했으며, 이는 참조 행동 계획을 받는 MiniMax-H3 모델의 29.90%보다 높습니다. 또한 VideoCraft-Bench에서는 목표 조건만으로 MiniMax-H3의 32.73%보다 높은 47.69%의 성공률을 기록했습니다.

이러한 결과는 목표 지향적인 절차적 비디오 생성을 위해서는 계획과 학습된 실행을 결합하는 것이 매우 중요하다는 것을 입증합니다.

OpenTelemetry를 설계 단계부터 내재화하여 어떤 관측 가능성 스택으로든 데이터를 내보낼 수 있는 제품을 구축하는 것이 핵심입니다. OpenTelemetry가 CNCF에서 졸업하며 관측 가능성 분야에서 채택이 증가함에 따라, 팀은 초기 학습 및 구현에 투자해야 하지만 이는 플랫폼에 OpenTelemetry를 통합하는 데 필수적인 기반이 됩니다.

OTel 기반 내보내기를 구현하기 위한 주요 설계 단계는 로그, 트레이스, 메트릭 세 가지 신호 중 어떤 것을 지원할지 결정하는 것에서 시작됩니다. 이 신호들을 OTel SDK나 Collector를 통해 OTLP로 내보내는 푸시 기반 아키텍처를 사용하며, 사용자에게 목적지 엔드포인트와 인증 헤더를 설정할 수 있도록 허용해야 합니다. 또한 데이터 볼륨과 비용을 제어하기 위해 개별 신호를 활성화하거나 비활성화할 수 있도록 하고, 데이터의 신뢰성을 위해 각 신호별 포맷과 스키마를 명확하게 문서화해야 합니다.

추가적으로, 사용자들은 강력한 격리를 위해 테넌트별 Collector를 사용하거나 운영 오버헤드를 줄이기 위해 테넌트별 파이프라인을 사용하는 등 적절한 Collector 토폴로지를 선택해야 합니다. 이러한 과정은 기본적으로 푸시를 기본값으로 설정하고, 벤더 중립성을 유지하며, 계약을 문서화하는 클라우드플레어 등의 기본 규칙을 따릅니다.

이러한 접근 방식은 모든 신호를 개방형 표준으로 설계하여 마찰을 줄이고 엔지니어링 오버헤드를 감소시키며, 고객이 자신의 데이터에 대해 최선의 활용을 할 수 있도록 힘을 실어줍니다. 이미 OTel 기반 내보내기를 구현했다면, OpenTelemetry 통합에 추가하여 작업물을 더 넓은 커뮤니티에 공유하는 것을 고려해 볼 수 있습니다.

최근 3D 세계 모델은 정지된 장면을 생성하지만, OuroWorld는 이를 마스크 없이 동적인 움직임이 반복되는 3D 시네마그래프(cinemagraph)로 변환하는 프레임워크를 제시합니다. 이 기술은 모든 시점에서 자연스럽게 루프되는 생생하고 다양한 움직임을 구현합니다.

OuroWorld는 비전-언어 모델을 사용하여 그럴듯한 동역학을 추론하고 비디오 모델을 안내하여 참조 비디오를 합성한 후 이를 다중 시점 비디오로 완성합니다. 특히 불완전한 지도 학습을 통해 학습하기 위해, 루핑을 구조적으로 보장하는 푸리에 급수 변형장인 Inconsistency-Robust Periodic 4DGS와 참조 시점의 드리프트 필드를 통해 시점 간의 불일치를 흡수하는 방법을 제안합니다.

기존의 유체와 같은 움직임에 국한되었던 오일러 방법과 달리, OuroWorld는 일반적인 변형, 객체 움직임, 조명 변화를 포착할 수 있습니다. 또한, 생생함, 자연스러움, 루프 이음매 일관성, 장면 품질을 평가하는 정답 없는 평가 기준을 도입했습니다.

39개의 재구성 및 생성된 장면에서 OuroWorld는 모든 기준 모델을 능가했으며 사용자 연구 비교에서 70.8%에서 99.0%의 결과를 달성했습니다. 이 결과는 OuroWorld가 3D Gaussian Splatting 장면을 동적인 시네마그래프로 변환하는 데 있어 뛰어난 성능을 보임을 입증합니다.

거대 언어 모델의 기초 개념을 다루는 책에 대한 내용입니다. 이 책은 최신 기술의 포괄적인 내용을 다루기보다는 LLM의 핵심적인 기초 개념에 중점을 두고 구성되어 있습니다.

책은 크게 여섯 개의 장으로 구성되어 있으며, 각 장은 사전 학습(pre-training), 생성 모델(generative models), 프롬프팅(prompting), 정렬(alignment), 추론(inference), 그리고 추론(reasoning)이라는 핵심 영역을 탐구합니다. 이는 자연어 처리 및 관련 분야의 대학생, 전문가, 실무자들을 대상으로 하며, 거대 언어 모델에 관심 있는 모든 사람에게 참고 자료가 될 수 있습니다.

개발자나 실무자들은 이 책을 통해 LLM의 기본적인 작동 원리와 각 단계별 접근 방식을 체계적으로 이해할 수 있습니다. 특히 모델의 학습부터 추론, 그리고 정렬에 이르는 전체 과정을 구조적으로 파악하는 데 도움이 됩니다.

따라서 이 책은 최신 기술 트렌드를 따라잡는 것뿐만 아니라, LLM 시스템을 구축하고 개선하는 데 필요한 탄탄한 기초 지식을 제공하는 데 중점을 두고 있습니다.

대규모 파운데이션 모델의 자기 개선을 위해 강화 학습(RL)이 핵심 훈련 패러다임으로 제시되었습니다. 본 보고서는 RL 컴퓨팅을 확장하여 모델 지능의 경계를 넓히는 다중 모달(omni-modal) 모델 시리즈인 MiMo-V2.6을 소개합니다. RL 도입에 앞서 광범위한 멀티모달 코퍼스에서 중간 훈련을 수행하고 사전 훈련된 하이브리드-SWA 아키텍처를 기반으로 견고한 인프라를 구축하여 후속 확장을 지원했습니다.

연구진은 RL 컴퓨팅을 세 가지 차원에서 확장했습니다. 첫째, 컨텍스트 길이 1M까지의 환경에서 비동기 훈련을 통해 배치 크기와 처리량을 늘려 한 단계당 1,568개의 샘플과 2.7~3.7B 토큰을 소비했습니다. 둘째, 에이전트 하네스를 통해 코드, 일반, 시각, 사이버 영역을 포괄하는 더 다양하고 복잡한 환경을 제공했습니다. 셋째, 그룹별 에이전트 평가를 통해 장기 과제에 대한 더 정확한 보상 신호를 얻고 모델이 더 짧고 토큰 효율적인 해결책을 찾도록 유도하는 평가 컴퓨팅을 늘렸습니다.

훈련의 안정성을 유지하기 위해 MoE 라우터를 고정하고 보상 해킹에 대한 다층 방어 체계를 구축했습니다. 또한, 혼합 작업 에이전트 RL을 위한 통합 궤적 표현, 고동시성 멀티 프레임워크 롤아웃, 분리된 제어 및 데이터 평면, 훈련-추론 일관성을 포함한 인프라를 구축했습니다. 연구 결과와 추가 연구를 촉진하기 위해 훈련 동역학, RL 환경, RL 프레임워크를 오픈 소스로 공개했습니다.

다중 에이전트 기반의 파운데이션 모델을 비교할 때, 응답자마다 또는 변화하는 작업 부하에 따라 보고된 자신감(confidence)의 의미가 달라질 수 있다는 문제가 제기되었습니다. 이 논문은 이러한 문제를 해결하기 위해 MARGIN(Multi-Agent Runtime Grading via Incremental Normalisation)이라는 런타임 보정 방법을 제시합니다.

MARGIN은 모델을 재학습시키거나 별도의 보정 데이터셋 없이 관찰된 답변 결과를 통해 모델별 자신감 보정을 학습하는 방법입니다. 이 방법은 최근 정확도와 보고된 자신감을 자신감 범위 내에서 추적하고, 이 비율을 사용하여 보고된 자신감을 보정하며, 이를 모델 수준의 추정치로 혼합합니다. 보정된 점수는 집단 결정에서 후보 답변에 가중치를 부여하는 데 사용됩니다.

평가는 코드 생성, 질문 응답, 수학 분야를 포괄하며 18개 모델 풀을 사용했습니다. BigCodeBench 실험 결과, 모델 평균 자신감은 정확도와 음의 상관관계를 보였으며, 정답/오답 쌍 중에서 더 자신감 있는 응답자를 선택하는 것이 확률보다 낮은 성능을 보였습니다.

별도의 코드 생성 조정 실험에서는 보정이 정답 응답의 순위를 개선하고 답변 선택 정확도를 4.3%와 14.0%p 향상시켰습니다. 이는 참여 응답자에게 정확도 피드백이 있을 때 변화하는 작업 부하 하에서 조정된 런타임 보정이 협업 시에 유용함을 뒷받침합니다.

에이전트 시스템 평가에 있어 지식 충돌을 어떻게 처리하는지에 대한 통찰이 부족하다는 문제점에서 출발하여, 본 연구는 에이전트의 인식적 겸손(Epistemic Humility, EH)을 평가하고자 제안합니다. 인식적 겸손은 작업 수행 중 불확실성을 인식하고, 이에 따라 행동하며, 소통하려는 에이전트의 의지를 의미하며, 이를 실행 과정의 세 가지 행동 차원인 식별(Identify), 해결(Solve), 상위 보고(Escalate, ISE)로 구체화하여 측정합니다.

연구진은 백본 언어 모델의 매개변수 지식과 경험하는 증거가 모순되거나 두 가지 맥락적 출처가 불일치하는 상황인 지식 충돌을 통해 에이전트를 평가했습니다. 이들은 통제된 충돌 상황과 다단계 에이전트 실행 중 자연적으로 발생하는 충돌 상황을 모두 평가했으며, 각 상황에 대해 충돌이 없는 통제군을 설정했습니다.

평가 결과, 높은 작업 정확도가 반드시 높은 인식적 겸손으로 이어지지 않는다는 사실이 밝혀졌습니다. 일부 고정확도 구성은 실행 중 충돌을 인식하지만, 잘못된 최종 답변에 불확실성을 소통하지 않았습니다. 또한, 궤적 분석을 통해 에이전트는 실행 초기 단계에서 충돌을 자주 감지하지만, 후반 단계에서는 이를 유지하거나 해결하지 못하는 경향을 보였습니다.

궁극적으로 모델 수준의 개입이 인식적 겸손을 개선할 수 있지만, 이는 종종 작업 정확도의 희생을 감수해야 함을 시사합니다. 이는 인식적 겸손이 백본 모델, 에이전트 도구, 그리고 평가 환경 간의 상호작용 속에서 나타난다는 결론을 제시합니다.

멀티모달 대규모 언어 모델(MLLM)이 연속적인 오디오-비주얼 추론으로 빠르게 발전함에 따라, 모델의 능력 한계를 드러내는 평가의 필요성이 커지고 있습니다. 현재 오디오-비주얼 캡셔닝 벤치마크는 전체 캡션 점수는 위치 정보 없이 포괄성을 제공하고, 국소적 탐색은 위치 정보를 제공하지 못하며, 제약 없는 LLM 심판은 불안정성을 야기하는 상충 관계를 안고 있습니다.

이에 연구진은 오디오-비주얼 캡셔닝 평가를 심층 구조 진단 프레임워크로 재구성하는 벤치마크인 OmniCapBench(Omni-Video Caption Benchmark)를 소개합니다. 이 벤치마크는 예측 대상을 자유 형식 텍스트에서 세 가지 트랙, 즉 개체 참조, 시각적 샷, 오디오 이벤트에 걸친 원자적이고 검증 가능한 평가 단위로 전환합니다. 이를 통해 결정론적 제약 확인과 국소화된 LLM 기반 의미 비교를 활용하여 신뢰할 수 있는 점수를 산출할 수 있습니다.

OmniCapBench는 786개의 밀도 있게 주석이 달린 비디오를 사용하여 MLLM의 인식 오류를 효과적으로 구별해냅니다. 구체적으로 시간적 접지 실패, 정체성 표류, 교차 모달 불일치, 환각된 설명과 같은 오류를 식별할 수 있습니다. 선도적인 MLLM을 평가한 결과, 모델들은 국소적인 인식 능력은 강하지만 장기적인 오디오-비주얼 추론 능력, 특히 정체성 표류와 교차 모달 불일치에서 약점을 보였습니다.

이러한 결과는 옴니모달 개발을 위한 세밀한 로드맵을 제공하며, MLLM이 장기적인 추론 능력과 모달 간 일관성을 개선해야 함을 시사합니다.

거대 언어 모델(LLM) 코딩 에이전트가 다양한 프로그래밍 작업에서 테스트 생성을 발전시켰지만, 단일 참조 솔루션에 기반하여 테스트를 평가하는 일반적인 관행은 대안적인 유효한 구현을 간과하여 테스트 품질을 과대평가할 수 있다는 문제가 제기되었습니다. 이를 해결하기 위해 연구진은 TestPrism을 도입했는데, 이는 17개 소스에서 300개의 테스트 작업과 3000개의 후보 구현을 포함하며 유효한 솔루션과 유효하지 않은 솔루션으로 균등하게 나뉘어 있습니다. TestPrism의 주요 지표인 공동 성공 함수(Joint Success Function)는 생성된 테스트가 초기 프로그램 상태에서 실패하고 모든 유효한 후보를 수용하며 모든 유효하지 않은 후보를 거부하도록 요구합니다.

14가지 기준 코딩 에이전트 구성에서 공동 성공 함수는 28.00%에 불과한 반면, 단일 참조 성공은 59.67%에 달하여 테스트 구성에서 발생한 누락된 동작, 지원되지 않는 단언, 잘못된 테스트 구성 등의 약점을 드러냈습니다. 이러한 약점을 해결하기 위해 연구진은 TestHelix를 도입했는데, 이는 테스트 및 수정 쌍의 이질적 합성, 동료 교차 검증, 그리고 재귀적 자기 개선(RSI)을 결합한 방법입니다. TestHelix를 통해 두 모델에서 공동 성공 함수는 TestHelix 평가에서 네이티브 하네스 비교자 대비 8.67에서 9.00 퍼센트포인트 향상되었습니다.