읽을 가치가 있는 기사만, 짧고 또렷하게.

NVIDIA 등이 Foundation4D라는 통합 피드포워드 모델을 발표하며 다중 카메라 주행 비디오로부터 기하학 추정, 3D 탐지, 의미론적 점유율, 가우시안 재구성을 수행합니다. 이 모델은 카메라와 시간 전반에 걸친 관측을 효율적으로 결합하기 위해 분해된 시공간 어텐션(factorized spatiotemporal attention)을 사용하는 공유 백본을 사용합니다.

비디오 추론 파이프라인에서는 자세 그래프 최적화(pose graph optimization)를 사용하여 카메라 궤적을 정제하고 입력 창 전반에 걸쳐 객체 궤적을 구성합니다. 또한, 1,253개의 주행 클립에 대한 밀집 깊이 및 의미론적 점유율 레이블을 포함하는 벤치마크인 PAI-Foundation4D를 공개했습니다.

이 벤치마크를 통해 Foundation4D는 Waymo와 nuScenes에서 가장 낮은 깊이 AbsRel, nuScenes에서 가장 높은 탐지 mAP, OpenOccupancy에서 가장 높은 점유율 mIoU를 달성했습니다. 특히, 탐지, 기하학, 점유율 작업을 공동으로 훈련하는 연구 결과는 탐지 전용 훈련 대비 최고 mAP가 1.2포인트 향상되었으며, 기하학을 탐지와 공동 훈련할 경우 카메라-리깅 변환 오류가 기하학 전용 훈련 대비 13.4% 감소함을 보여줍니다.

이 모델은 예측된 기하학 및 궤적을 lidarless NuRec의 사전 정보로 사용하여 주행 장면을 재구성하고 시뮬레이션하는 데 활용될 수 있습니다.

LLM 에이전트가 최첨단 컴퓨터 과학 연구 개발에 기여할 수 있는지에 대한 벤치마크인 FrontierCS 2가 소개되었습니다. 이 벤치마크는 48개의 오픈 엔디드 과제를 포함하며, 논문과 코드에서 저자의 기여를 삭제하여 삭제된 코드를 인간의 기준점으로 설정하는 방식으로 평가를 진행합니다. 에이전트는 연구 환경 내에서 작업 저장소를 상속받고 임의의 시점에 패치를 제출할 수 있으며, 심사관은 개발 스위트 점수를 반환하지만 평가 기준과 참조 코드는 비공개로 유지됩니다.

이 과제들은 머신러닝 시스템, 고성능 컴퓨팅, 데이터베이스, 보안, 로봇공학 등 13개 영역에 걸쳐 광범위하게 분포되어 있습니다. FrontierCS 2는 48개 과제 외에도 향후 발표될 100개 이상의 비공개 과제를 포함하고 있어 에이전트의 실질적인 능력을 측정하는 데 중점을 둡니다.

평가 결과, 12개의 에이전트를 평가한 결과 Claude Opus 5.5가 가장 우수한 성능을 보이며 실행의 58%를 통과했습니다. 그러나 16개 과제에서는 단 한 번도 통과하지 못했습니다. 이는 단순히 높은 점수가 통과를 의미하지 않으며, 대부분의 실행이 특정 메트릭이나 워크로드에서 기준보다 부족하다는 것을 의미합니다.

에이전트와 과제의 역량에 대한 공유 가능한 척도로 볼 때, 중간 수준의 과제는 가장 강력한 에이전트가 처리할 수 있는 수준과 대략적으로 동일한 난이도를 가집니다.

균일 확산 언어 모델(UDLM)은 텍스트를 반복적으로 노이즈 제거하여 생성하는 방식으로, 학습 시에는 신뢰할 수 없는 문맥에서 노이즈를 제거해야 한다는 도전적인 목표를 가집니다. 반면, 마스킹 확산 언어 모델(MDLM)은 항상 깨끗한 문맥에 조건화하여 학습하기 때문에 UDLM은 MDLM보다 학습에 더 많은 FLOP을 필요로 하지만, 다운스트림 추론 성능은 더 강력한 것으로 나타났습니다.

최근 연구에서는 MDLM에서 선택적 루핑(selective looping)이 동일한 FLOP 예산 내에서 학습 효율성을 개선한다는 사실이 밝혀졌습니다. 이 연구는 UDLM에서도 루핑을 적용했을 때 학습 효율성이 크게 향상됨을 확인했습니다. 루핑된 UDLM은 0.5조 토큰으로 학습된 비루핑 UDLM과 비교했을 때 OpenWebText에서는 최대 2.8배 적은 학습 FLOP을, FineWeb-Edu에서는 3.3배 적은 학습 FLOP으로 동일한 검증 NLL을 달성했습니다.

또한, 루핑된 UDLM은 NFE 예산이 일치할 때 비루핑 UDLM보다 최대 9.8% 낮은 생성 퍼플렉시티를 달성했으며, 이러한 성능 향상은 적절한 루프 횟수에서 가장 크게 나타났습니다. 마지막으로, 학습 과정에서 더 작은 루프 횟수를 더 자주 샘플링하는 전략은 추론 효율성을 개선합니다. 이 전략은 정확도를 저하시키지 않으면서 균일 루프 횟수 샘플링보다 12% 적은 루프를 사용합니다.

다중 에이전트 협업을 성공적으로 수행하기 위해서는 불확실성 하에서 여러 파트너 상태를 포착하는 추론이 필수적입니다. 그러나 대규모 언어 모델(LLM) 에이전트의 텍스트 표현 공간에서는 단일 파트너 상태만을 설명하기 때문에 정확한 마음 이론(Theory-of-Mind, ToM)을 형성하기 어렵습니다. 이 문제를 해결하기 위해 연구진은 고정된 연속 추론 토큰 예산을 통해 풍부한 잠재 공간에서 추상적인 마음 이론을 학습하는 ToM2Vec을 제안했습니다.

ToM2Vec은 학습 과정에서 파트너의 실제 생각으로부터 추론 토큰에 대한 감독을 받으며, 테스트 시 각 에이전트가 생성한 ToM 토큰을 해당 에이전트의 생각과 행동을 조건화하는 데 사용합니다. 이 방법은 협업, 경쟁, 혼합 동기 설정 등 다양한 환경(Overcooked-AI, 다자 협상, Decrypto 등)에서 평가되었으며, 기본 모델 및 다양한 경쟁 기준 모델보다 일관된 성능 향상을 보였습니다.

연구 결과는 잠재 추론이 매우 중요함을 보여주는데, 추론을 텍스트로 표현할 때 성능이 저하되는 반면 잠재 추론은 에이전트의 성능을 크게 향상시킵니다. 또한 ToM2Vec 학습은 훈련 시 보지 못했던 독점 모델(GPT-5.4)을 포함한 파트너 모델 패밀리로 일반화되는 것을 확인했습니다.

분석 결과, 잠재 토큰은 작업별 정보가 아닌 마음 이론을 인코딩한다는 증거가 제시되었습니다. ToM2Vec의 토큰은 에이전트가 파트너의 신념, 욕구, 다음 행동에 대해 직접 질문에 답하는 능력을 향상시킵니다.

검색 증강 생성(RAG) 파이프라인의 성능 평가에 대한 새로운 연구 결과가 발표되었습니다. RAG는 대규모 언어 모델을 외부 지식에 기반하도록 하는 기술이며, 임베딩, 청킹, 검색, 재순위 지정, 질의 증강 등 여러 기술이 결합되어 사용됩니다. 그러나 이러한 기술들은 보통 개별적으로 평가되므로, 이들이 결합했을 때의 성능 향상이 실제로 유지되는지, 그리고 각 구성 요소 간의 상호작용이 어떻게 되는지에 대한 의문이 남아 있었습니다.

연구진은 이러한 문제를 해결하기 위해 통제된 RAG 평가를 위한 오픈 소스 프레임워크인 LASAGNA를 소개했습니다. 이들은 5K에서 200K 문서에 이르는 다양한 코퍼스와 여덟 가지 벤치마크에서 450가지 구성을 테스트했습니다. 이 실험을 통해 세 가지 주요 발견이 도출되었습니다. 첫째, RAG 파이프라인의 서로 다른 단계에서 개별적으로 강력한 기술들이 반드시 결합했을 때 시너지를 내지 않는다는 것입니다. 예를 들어, 세 가지 검색 기술은 개별적으로는 큰 성능 향상을 예측하지만, 실제로 함께 사용했을 때는 그 효과가 훨씬 적었습니다.

둘째, 검색 품질과 답변 충실도(faithfulness)에 대한 구성 요소별 이득이 다르게 쌓이며, 한 요소를 최적화하는 것이 다른 요소에 부정적인 영향을 미칠 수 있다는 점이 밝혀졌습니다. 셋째, 코퍼스의 크기에 따라 최적의 조합이 달라진다는 것입니다. 작은 코퍼스에서 가장 좋은 조합이 대규모 환경에서는 최선이 아닐 수 있다는 것입니다.

이러한 결과는 개별적으로 측정된 성능 향상이 실제 성능을 예측하는 데 신뢰할 수 없으며, 새로운 RAG 기술은 전체 주변 스택과 함께 테스트되어야 함을 시사합니다. 연구자들은 이러한 실험을 단순화하고 신뢰성을 높이기 위해 LASAGNA를 활용할 것을 권고하고 있습니다.

비전-언어-행동(VLA) 모델은 시각 이해, 언어 조건화, 행동 생성을 통합하여 구체적인 조작 작업에서 강력한 성능을 보입니다. 그러나 장기적인 작업에서는 부분 관찰성과 실행 오류로 인해 성공적인 결정을 내리기 위해 과거의 상호작용 결과와 작업 진행 상황을 유지해야 하는 비마르코프적 의존성이 발생합니다.

이러한 문제를 해결하기 위해 기존 연구들은 메모리를 정책에 추가하거나 고수준 계획과 저수준 실행을 분리하는 계층적 아키텍처를 도입했습니다. 특히, 고수준 VLM을 편집 가능한 하네스(harness)를 통해 로봇 에이전트로 구성하여 실행 경험을 통해 계획을 개선하는 접근 방식이 제시되었습니다.

이러한 방법론을 기반으로 자율적으로 진화하는 로봇 에이전트인 SERA(Self-Evolving Robotic Agent)를 구체화했습니다. SERA는 고정된 VLA 실행기를 통해 저수준 제어를 제공하며, 하네스가 관찰 및 실행 피드백을 사용하여 작업 맥락을 유지하고 다음 계획을 안내합니다. SERA는 환경 롤아웃을 사용하여 하네스 수정안을 제안하고 평가함으로써 자체 진화를 수행합니다.

RoboMME 환경에서 SERA는 자체 선택을 통해 51.38%의 전체 성공률을 달성했으며, 이는 자체 진화가 없는 경우의 44.38%보다 높은 수치입니다. 이 연구 결과는 에이전트 계획이 역사 의존적인 로봇 조작에 있어 유망한 방향임을 시사합니다.

최근 연구는 희소하고 저해상도의 캡처 자원에서 몰입형 볼류메트릭 비디오를 생성하는 문제를 해결하는 데 초점을 맞춥니다. 기존의 밀집된 다중 시점 재구성 방법은 고품질 볼류메트릭 비디오를 생성할 수 있지만, 비용이 많이 드는 캡처 설정에 의존하기 때문에 실제 환경에서 비현실적입니다. 최근 생성 모델을 사용한 접근 방식도 해상도 제한과 4차원 일관성(4D consistency) 부족이라는 한계를 여전히 안고 있습니다.

이에 연구진은 제한된 캡처를 고해상도(2K)의 4차원 일관성 비디오로 향상시키는 통합 프레임워크인 RealMe를 제안합니다. RealMe는 고해상도 비디오 확산 모델을 기반으로 하며, 캡처 비디오에서 보조 데이터를 구성하고 이를 레이아웃 인식 위치 임베딩과 함께 잠재 공간에 인코딩합니다. 비디오 확산 모델은 다중 시점 캡처 레이아웃에 적응하여 공간-시간 주의를 조정하고, 시점과 시간 전반에 걸쳐 잠재 공간의 노이즈를 제거하며, 4차원 표현을 개선합니다.

또한, 생성된 비디오와 실제 캡처 간의 데이터 격차를 줄이기 위해 잠재 주파수 손실(latent frequency loss)을 적용하여 잠재 공간에서 주파수 영역의 감독을 제공합니다. DNA-Rendering 벤치마크와 자체 캡처한 RealVV 데이터셋에 대한 광범위한 실험 결과, RealMe는 시각적 충실도와 4차원 일관성 측면에서 최첨단 방법들을 능가하는 몰입형 볼류메트릭 비디오를 생성할 수 있음을 입증했습니다.

PACE는 주기적이고 채널 정렬 인코딩을 통해 네트워킹 상태를 양자화하는 새로운 후행 양자화 기법입니다. 선형 어텐션 언어 모델은 고정된 크기의 순환 상태에 컨텍스트를 저장하며, 이 상태를 낮은 정밀도로 저장함으로써 가속기 공유를 가능하게 합니다. 기존의 상태 양자화 기법들은 토큰이 생성될 때마다 상태를 반올림하여 정확도를 손실하며, 이는 모델을 미세 조정하지 않는 한 정확도 손실을 야기합니다.

PACE는 이러한 문제를 해결하기 위해 상태를 생성된 토큰 몇 개마다 한 번만 반올림하여 누적되는 오류를 줄입니다. 또한, 게이티드-델타 상태에서 큰 값이 채널별로 모이는 현상을 파악하여 각 열 내에서 양자화 스케일을 공유함으로써 효율성을 높입니다. 이 기법은 반올림 오류가 가장 오래 유지되는 헤드를 8비트로 유지하여 정확도를 보존합니다.

4B에서 35B 파라미터에 이르는 네 가지 하이브리드 모델에서 PACE는 성능 우위를 보였습니다. 혼합 4비트 및 8비트 헤드를 사용하는 PACE는 세 개의 대형 모델에서 8비트 DAMP와 메모리 약 3분의 2 수준에서 경쟁합니다. 전체적으로 4비트 헤드를 사용하는 PACE는 동일한 메모리에서 Q-Mamba보다 더 높은 점수를 기록하며, 몇 개의 토큰마다 반올림하는 방식은 버퍼의 디코딩 속도 향상을 유지합니다.

3억 개의 파라미터를 가진 언어 모델을 터미널처럼 작동하게 훈련시킨 WorldTUI에 대한 내용입니다. 이 모델은 셸이나 파일 시스템 없이 키 입력이 들어오면 화면이 어떻게 변할지 예측하여 터미널 환경을 시뮬레이션합니다. 사용자는 텍스트 스트림이 아닌 화면의 변화를 예측하도록 모델을 훈련시켰으며, 이는 일반적인 LLM의 토큰 예측 방식과는 다른 접근법입니다.

모델은 터미널을 문자 격자의 형태로 간주하고, 각 셀의 변화를 예측하는 방식으로 작동합니다. 세션은 화면 크기, 내용, 커서 위치를 포함하는 스냅샷으로 시작하며, 키 입력은 실제 터미널이 보내는 바이트로 처리됩니다. 모델은 단순히 텍스트를 생성하는 것이 아니라, 화면의 행과 열을 수정하고 커서를 이동시키는 등의 화면 업데이트를 예측합니다.

이 시스템은 실제 프로그램이 Docker 컨테이너 내에서 실행될 때 기록된 터미널 세션 데이터를 사용하여 훈련되었습니다. 모델은 256바이트 토큰, 64행 토큰 등 매우 작은 어휘를 사용하며, 화면을 복사하거나 줄을 삽입/삭제하는 등의 특수 연산을 통해 스크롤링을 처리합니다. 이처럼 모델은 내부 규칙을 구현하지 않고도 일관된 세계를 유지하는 데 성공했습니다.

이 연구는 애플리케이션의 행동을 예측하고 더 일관된 세계 모델을 구축하는 데 중점을 두고 있습니다. 향후에는 확산 모델을 사용하여 화면 업데이트를 생성하거나, 수많은 애플리케이션에 대해 훈련시켜 모델이 새로운 애플리케이션의 동작을 예측하도록 하는 실험을 진행할 계획입니다.

멀티모달 에이전트(MMA)는 추론, 기억, 도구, 피드백을 통해 상호작용을 유지하며 주로 컴퓨터 사용 에이전트의 형태로 나타나는 반면, 로봇 시스템(RS)은 물리 역학 하에서 감각과 구동을 결합합니다. 본 논문은 멀티모달 임베디드 에이전트(MMEA)를 멀티모달 작업 추론과 물리적 행동을 결합하고 결과 피드백으로부터 결정을 수정하는 목표 지향 시스템으로 정의합니다. 이는 멀티모달 에이전트가 컴퓨터 사용에서 로봇 사용으로 전환될 때 어떤 변화가 발생하는지에 대한 핵심 질문을 제기합니다.

이에 연구진은 다섯 가지 반복되는 기능으로 구성된 통합 능력 중심 프레임워크인 PAPAV를 소개합니다. 이 기능들은 현재 상태 인식(Perceive), 행동 효과 예측(Anticipate), 실행 계획 수립(Plan), 인터페이스 또는 신체를 통한 행동(Act), 결과 검증(Verify)으로 정의됩니다. PAPAV는 아키텍처보다는 기능에 기반하여 MMEA, MMA, RS 간의 공통점을 식별하고 비교할 수 있게 합니다.

부분 관찰 가능성부터 검증 불가능한 결과에 이르는 다섯 가지 물리적 제약 조건은 사전에 고정된 선택지를 줄이고 오류를 되돌릴 여지를 감소시킵니다. 64개의 벤치마크에서 명시적인 평가는 실행(Act)에 중점을 두며, 예측(Anticipate)과 검증(Verify)은 작업 성공 뒤에 대부분 숨겨져 있습니다. 따라서 PAPAV는 작업 성공뿐만 아니라 이 다섯 가지 능력 전반에 걸쳐 신뢰할 수 있는 물리적 에이전트를 설계하고 진행 상황을 측정하기 위한 공통 기반을 제공합니다.

최근 일부 최첨단 팀들은 모델 훈련을 위해 다른 LLM을 사용하는 방식을 제한하여 상세한 추론 과정(reasoning trace) 없이 답변만 제공하고 있습니다. 이는 모델이 인간 지식을 정제하여 구축되었음에도 불구하고, 자체 모델을 증류하는 과정에 대한 제한이 자신들의 출력에만 적용되는 모순을 낳고 있습니다. 이러한 숨겨진 추론 과정을 복구하려는 시도는 모델 간 암호화된 블록을 재실행하는 방식으로 가능하지만, 이는 서비스 제공업체의 이용 약관을 위반하여 장기적인 제품 개발에 적합하지 않습니다.

이에 연구진은 이 문제를 해결하기 위해 자체적으로 추론 과정을 생성하는 대안을 개발했습니다. 이 방법은 컨텍스트와 교사의 답변을 입력으로 받아 학생 모델 패밀리의 스타일에 맞춰 추론 과정을 생성하는 방식으로 작동합니다. 훈련은 생성자가 컨텍스트와 답변에서 모델 패밀리의 추론 흔적을 재생성하도록 학습하는 지도 학습과 이후 비판자가 추론 흔적의 진실성을 평가하는 적대적 학습의 두 단계로 진행됩니다.

이 방법은 다섯 가지 벤치마크에서 테스트되었으며, 코딩 작업에서 생성된 추론이 Fable 5의 자체 사고 내용보다 우수함을 보였습니다. 또한 동일한 질문과 교사의 답변을 사용했을 때, HumanEval+ 점수는 최종 체크포인트에서 3.7점, MBPP+ 점수는 7.1점을 향상시켰으며, MBPP+ 리드는 모든 체크포인트에서 유지되었습니다. 연구진은 학생 모델 스타일로 작성된 추론이 학습하기 더 쉽다는 가설을 제시합니다.

추론 흔적의 진실성을 평가하는 결과, 생성된 추론의 평균 신뢰도 점수는 0.68이었으나 실제 추론은 0.66으로 나타났습니다. 하지만 비판자가 네 개의 후보 중에서 추론 흔적을 선택했을 때의 점수는 0.82로 나타나, 생성된 추론이 실제 추론과 유사한 스타일을 가지면서도 높은 신뢰도를 확보할 수 있음을 시사합니다.

공간 추론은 기하학적 도구 접근을 넘어 직접 관찰이 충분한지, 아니면 기준 좌표계를 재구성하거나 측정하거나 변경해야 하는지를 결정해야 합니다. 본 논문은 이러한 결정에 대한 경험을 유지하면서 비전-언어 백본(vision-language backbone)을 고정하는 프레임워크인 SpatialBrain을 제시합니다. 이는 장면에 대한 증거와 그 증거를 가지고 추론하는 방법에 대한 경험을 구분하는 핵심적인 차이를 다룹니다.

SpatialBrain은 현재 장면 관찰을 질의 가능한 공간 관계(queryable spatial relations)로 융합하는 3DFusionMemory, 재사용 가능한 도구 절차를 제공하는 공간 기술 라이브러리(Spatial Skill Library), 그리고 기억과 기술을 언제 어떻게 사용할지에 대한 경험을 작업 조건과 연관 짓는 공간 인지(Spatial Cognition)로 구성됩니다. 또한 완료된 궤적은 프로세스 레코드(process records)로 추상화되어 장면 좌표나 기준 답변을 이전하지 않고도 후속 결정이 이전 실행을 활용할 수 있도록 합니다.

이러한 구조를 통해 SpatialBrain은 다섯 가지 공간 추론 벤치마크에서 동일한 백본을 사용한 직접적인 답변보다 네 가지에서 성능을 향상시키고 다섯 번째 벤치마크에서는 동률을 기록했습니다. 프레임워크가 자원을 축적하고 사용하는 방식을 설명하기 위해 구성 요소 비교, 경험 범위 곡선, 추적된 자원 결정을 사용합니다.

최근 정교한 참조 추적 분야에서 기존 모델들은 주로 단일 손 조작에 초점을 맞추고 있어 실제 생활에서 흔히 볼 수 있는 양손의 민첩한 행동을 다루지 못하고 있습니다. 접촉이 풍부한 양손 조작 데이터의 부족과 접촉을 조정하는 복잡성 때문에 일반적인 양손 추적 모델을 개발하는 것은 특히 어려운 과제였습니다.

이러한 문제를 해결하기 위해 연구진은 두 가지 방법론을 제시했습니다. 첫째는 작업 범주와 인간 움직임 소스에 걸쳐 공동으로 훈련된 최초의 일반적인 양손 추적기인 DONIC이며, 이는 피드백 루프를 통해 성공적인 실행을 훈련 시연으로 재활용하는 근접 정책 최적화(PPO)와 행동 복제(Behavioral Cloning)를 결합합니다. DONIC는 객체 중심의 손별 보상을 유지하면서 각 손이 참조 접촉 역할에 따라 감독되도록 하며, 클립 중심 이점(Clip-Centered Advantages)을 사용하여 참조 의존적 이점 오프셋을 제거합니다.

둘째로, DONIC와 함께 1,575개의 시퀀스를 포함하는 229개 객체를 다루는 다중 시점 데이터셋인 BiHOI를 제시했는데, 이는 지속적인 양손 상호작용을 강조하며 재구성된 상호작용을 로봇 참조로 리타겟팅합니다. 이러한 설계들은 단일 정책이 이질적인 참조를 넘어 조정된 조작을 학습할 수 있도록 합니다.

결과적으로, 미세 조정 없이 단일 체크포인트는 보지 못한 훈련 객체에 대해 86.79%의 성공률과 홀드아웃 객체에 대해 57.32%의 성공률을 달성하며, 기존의 양손 추적 기준선보다 각각 77.36%와 45.73% 포인트 더 높은 성능을 보였습니다.

비디오 확산 트랜스포머에서 전체 3D 어텐션은 비용이 많이 듭니다. 블록 희소 어텐션은 선택된 어텐션 블록만 계산하여 이 비용을 줄이지만, 기존 방법들은 희소성 할당을 최적화할 잠재력을 간과하거나 휴리스틱 규칙에 의존합니다. 연구진은 다른 레이어와 디노이징 단계에서 어텐션을 희소화하는 것이 최종 비디오 충실도에 상당히 다른 영향을 미친다는 것을 관찰했습니다.

하지만 가장 민감한 레이어-단계 쌍의 정체는 입력에 관계없이 거의 변하지 않았습니다. 이러한 발견을 바탕으로 연구진은 훈련 없이 희소성 할당을 수행하는 방법인 ALLOT(Allocating Layer-step Latency by Output Tests)을 제안했습니다. ALLOT은 각 레이어-단계 쌍을 셀로 간주하고, 셀 프로빙과 궤적 보정을 통해 각 셀의 최종 비디오 오류 기여도를 추정합니다. 이후 측정된 레이턴시 예산 내에서 셀 밀도를 공동으로 최적화합니다.

이 방법은 기존의 선택 전략과 커널을 보존하면서 할당 구성 요소만 대체합니다. 측정된 벽시계 시간에서 ALLOT은 XAttention을 사용한 모든 비교 할당 전략보다 우수하며, HunyuanVideo에서 11.8 dB의 PSNR 이득을 달성했습니다. Wan2.1, Wan2.2, HunyuanVideo에 대한 광범위한 실험 결과, ALLOT은 아홉 가지 설정 모두에서 기본 전략보다 우수하거나 동등한 성능을 보였습니다.

파운데이션 모델 기반의 자율 에이전트는 추론, 계획, 도구 사용이 가능하지만, 고정된 가중치와 컨텍스트의 한계로 인해 장기적인 배포에서 경험으로부터 지속적인 학습을 하는 데 어려움을 겪습니다. 외부 메모리 시스템이 이러한 격차를 해소하려 시도하지만, 이는 저장된 사실이나 과거 상호작용을 회상할 수 있는지 여부에 따라 평가되는 수동적인 검색 캐시에 불과합니다. 따라서 메모리가 진정한 지속적인 학습을 이끌 수 있는지에 대한 의문이 제기됩니다.

이 논문은 메모리가 단순히 정보를 검색하는 것을 넘어 미래 행동을 개선하는지에 따라 평가되어야 한다고 주장하며 메모리 중심 지속적 학습(Memory-Centric Continual Learning, MCCL)을 제안합니다. MCCL은 세 가지 주요 구성 요소로 이루어져 있습니다. 첫째, 메모리를 저장하는 방식(substrates), 형태(assets), 관리 방식(policies)에 따라 조직하는 3차원 분류법을 제시합니다. 이는 태스크 피드백을 기반으로 관리 정책을 개선하는 외부 루프와 메모리 상태를 업데이트하는 내부 루프를 정의하는 두 개의 루프 수명 주기를 설정합니다.

둘째, 간섭 하에서의 유지, 변화 적응, 태스크 전이를 측정하는 평가 프로토콜을 통해 단순한 컨텍스트 확장이 아닌 진정한 행동적 이득을 분리합니다. 셋째, 비매개적 및 매개적 메모리 전반에 걸쳐 경험, 저장 용량, 컴퓨팅 예산에 따라 에이전트 성능이 어떻게 확장되는지를 모델링하는 메모리 스케일링 프레임워크를 제공합니다. 이 구성 요소들은 에이전트 메모리를 수동적인 검색에서 지속적인 학습으로 재정의하며, 스스로 개선하는 자율 에이전트를 향한 원칙적인 경로를 제시합니다.

LLM이 언어 범위를 확장함에 따라 다양한 문화를 얼마나 잘 이해하고 표현하는지 평가하는 것이 중요해지고 있습니다. 하지만 현재 많은 벤치마크는 영어 중심이며 문화적 범위가 제한적이고 실제 문화적 맥락에서의 적용보다는 사실 지식에 초점을 맞추고 있습니다.

이에 연구팀은 인간 커뮤니티의 참여를 통해 완전히 창작된 독창적이고 문화적으로 기반한 수수께끼 모음인 CulturalRiddles를 제안합니다. 이 벤치마크는 62개 문화(45개 국가, 51개 언어)를 포괄하며, 각 수수께끼는 해당 문화에 깊이 뿌리내리고 있어 추론 및 구성적 추론, 상세한 사실 및 사회적 지식, 그리고 문화적으로 특정한 연관성에 대한 이해를 요구합니다.

연구팀은 자동 평가와 대규모 인간 평가를 모두 사용하여 28가지 LLM 구성을 벤치마킹했습니다. 그 결과, 최첨단 모델조차도 일부 커뮤니티에서 최대 22%의 정확도만을 달성했습니다. 이들은 벤치마크의 언어적 및 문화적 범위를 확장하기 위해 모든 결과물을 공개하고 오픈 기여 프로세스를 통해 추가적인 기여를 환영합니다.

최근의 세계 행동 모델은 로봇 조작을 위한 시각적 예측과 미래 예측 능력을 제공하지만, 구성적 기술 재사용을 위한 명시적인 메커니즘이 부족하다는 한계가 있습니다. 에이전트 로보틱스는 코드 기반 계획 및 추론과 재사용 가능한 기술을 결합하지만, 물리적 역학에 대한 예측적 기반이 부족한 경우가 많습니다. 이에 본 연구는 코드 기반 계획을 영상 및 행동 예측과 통합하는 에이전트 세계 행동 모델 프레임워크인 AW-0을 제안합니다.

AW-0은 코드 기반 계획을 조인트 비디오 및 행동 예측과 통합하며, 코드, 미래 비디오, 로봇 행동을 통합된 혼합 트랜스포머 아키텍처 내의 세 가지 결합된 생성 스트림으로 모델링합니다. 이 아키텍처 내에서 코드 전문가가 매개변수화된 기술 루틴과 제어 논리를 생성하고, 비디오 및 행동 전문가는 미래 시각 상태와 저수준 모터 명령을 생성합니다. 코드는 세계 모델 내의 다단계 예측 및 제어를 구조화하고 후속 에이전트 실행을 위한 재사용 가능한 프로그램으로 기술하는 두 가지 상호 보완적인 역할을 수행합니다.

또한, 자동화된 큐레이션 파이프라인을 도입하여 로봇 및 인간 비디오 궤적에 정렬된 프로그램을 레이블링하고 반복되는 루틴을 재사용 가능한 기술 라이브러리로 통합합니다. RoboTwin 2.0 및 물리적 양손 조작 작업에 대한 평가 결과, VLA 및 WAM 기준선보다 향상된 작업 성능과 더불어 언어 추적, 의미론적 추론, 견고성에서 이점을 보였습니다. 이는 에이전트 코드가 WAM 내에서 계획, 예측 및 실행 간의 연결을 가능하게 함을 입증합니다.

최신 인공지능 시스템은 고정된 매개변수로 출시되어 외부 업데이트를 통해 개선되지만, 이상적인 시스템은 자체 경험을 통해 지속적으로 개선하는 재귀적 자기 개선(RSI) 능력을 갖추어야 합니다. 그러나 RSI를 연구하기 위해서는 지속적으로 변화하고 객관적으로 검증 가능하며 자연스럽게 기반이 되는 환경이 필요하며, 이는 에이전트 진화에 근본적인 도전을 제기합니다.

이러한 문제를 해결하기 위해 연구진은 미래 사건 예측에 기반한 지속 가능한 진화 에이전트 시스템인 DeepEvolve를 소개합니다. DeepEvolve는 에이전트가 동적으로 진화하는 환경과 지속적으로 상호작용하며 상호작용을 통해 얻은 경험을 내재화하고 외재화함으로써 개선하는 시스템입니다. 살아있는 환경이 검증 가능한 작업을 합성하고 재귀적 진화 엔진이 예측 뒤에 숨겨진 추론 궤적을 능력으로 전환하며, 탐색과 예측을 분리하고 재사용 가능한 기술을 정제하여 에이전트가 제한된 환경에서 진화할 수 있도록 돕습니다.

외부 FutureX 리더보드에서 이 시스템은 실시간으로 업데이트되는 실제 결과에 대한 예측을 평가했으며, 세 주 동안 모든 시스템 중 1위를 차지하고 최대 195%의 점수 향상을 달성했습니다. 또한, 합성 평가 결과에서 이 시스템은 네 가지 기본 LLM 중 상위 세 곳에 랭크되었으며 가장 강력한 기준 모델보다 최대 10.7 브래들리-테리 점수를 더 높은 것으로 나타났습니다.

이러한 결과는 자기 개선을 위해 구축된 시스템은 진정한 살아있는 개방형 환경과 공동으로 진화하는 에이전트로 이해되어야 함을 시사합니다. 이는 정적인 데이터로 정적인 모델을 훈련하는 방식에서 벗어나, 에이전트가 자신의 경험으로부터 더 강해지는 것을 추구하며 그러한 개방형 세계를 성장의 필수적인 기반으로 삼아야 한다는 변화를 의미합니다.

에이전트 하네스는 현대 에이전트 시스템에서 도구 사용, 컨텍스트 관리, 장기 상호작용을 형성하는 핵심 요소가 되었습니다. 이러한 하네스의 이점을 실현하는 것은 모델이 하네스를 얼마나 효과적으로 활용하느냐에 달려 있으며, 이는 하네스를 통해 직접적으로 강화 학습을 유도합니다. 그러나 기존 접근 방식은 일반적으로 단일 고정된 하네스를 통해 훈련하기 때문에 특수화가 발생하고 하네스 구성 간의 전이가 제한되는 문제가 있었습니다.

이러한 한계를 해결하기 위해 본 연구는 에이전트 강화 학습을 위한 새로운 스케일링 차원인 하네스 스케일링(Harness Scaling)을 도입했습니다. 이는 단일 하네스에서 다양한 실행 구성으로 훈련 범위를 확장하는 방법입니다. 구체적으로, 연구진은 인수분해된 하네스 공간을 구축하고, 균형 잡힌 순열 커버리지를 가진 간결한 훈련 부분 집합을 선택하며, 동일한 작업에 대해 전역 커버리지와 통제된 변형을 결합하는 방식으로 교차 하네스 훈련을 조직했습니다.

다양한 벤치마크, 모델 규모, 강화 학습 알고리즘 전반에 걸쳐 하네스 스케일링은 보지 못한 화이트박스 구성에 대한 일반화를 일관되게 개선했습니다. 또한, 구조화된 화이트박스 변형 전이를 통해 훈련된 모델은 보지 못한 외부 블랙박스 하네스에도 효과적으로 전이되어 단일 복잡한 블랙박스 하네스로 훈련된 모델보다 성능이 우수했습니다.

이러한 결과는 하네스 다양성이 에이전트 강화 학습을 위한 의미 있는 스케일링 차원임을 입증하며, 이러한 다양성이 교차 하네스 일반화에 어떻게 조직되는지가 매우 중요함을 강조합니다.

경계 분류 작업은 지연 시간과 의미론적 정확도 사이의 상충 관계에 직면해 있습니다. 시그니처 엔진은 빠르고 형식 안전하지만 보지 못한 공격에는 취약하며, 생성 모델은 의미론적이지만 느리고 해석 불가능한 출력을 생성합니다. 2026년 말에 TypeSafe Jev나 Microsoft-Decision-1 같은 상업용 시스템 원(System One) 모델들이 이진 게이트, 닫힌 집합 선택, 순위 점수와 같은 타입화된 의사결정 기본 요소를 제품 API로 판매하기 시작했지만 학술적인 연구는 부족했습니다.

이에 본 연구는 이러한 기본 요소를 출력하는 소규모 멀티헤드 네트워크인 VX-One을 제시합니다. VX-One은 100K~10M개의 파라미터를 가지며, 보정된 게이트, 명시적인 미지 옵션을 포함하는 선택, 순위 점수를 출력합니다. 이 모델은 온도 보정되어 있으며 CPU에서 약 0.7~1.7ms의 p50 지연 시간을 보입니다.

연구 결과, VX-One은 UNSW-NB15에서 탐지 성능(AUROC/FPR@95%TPR)에서 XGBoost 등 다른 방법보다 우위를 보였으나, 다중 클래스 귀속에서는 XGBoost가 더 좋았습니다. 또한, 누락된 가족(leave-one-family-out) 게이트는 보지 못한 가족을 탐지했지만, CIC 재구성 가족에서는 성능이 떨어졌으며 추상 임계값은 벤치마크 전반에 걸쳐 제대로 전달되지 않았습니다.

특히, 시간적 드리프트 하에서 보정 능력은 붕괴되었으며, 모든 방법에서 ECE(Expected Calibration Error)가 0.04에서 0.40으로 증가했습니다. 이는 보정된 결정이 경계 분류에 도움이 되는 영역과 실패하는 영역을 측정하는 데 중요한 맥락을 제공합니다.