읽을 가치가 있는 기사만, 짧고 또렷하게.

Colab의 유료 컴퓨팅 혜택이 Google AI 구독에 통합되었습니다. 이는 브라우저에서 Python 코드를 실행하고 GPU를 사용하여 모델을 학습하는 데 필요한 컴퓨팅 자원을 Google AI 구독을 통해 이용할 수 있게 되었다는 의미입니다.

이 변경으로 인해 개발자들은 Google AI 서비스를 이용하면서 더욱 강력한 연산 자원에 접근할 수 있게 되었습니다. 구체적으로 Google AI Pro 요금제는 월 200컴퓨팅 단위를 제공하며, Google AI Ultra 요금제는 세부 요금제에 따라 1,000 또는 2,000단위의 컴퓨팅 자원을 제공합니다.

이러한 단위는 더 강력한 연산 자원을 필요로 하는 복잡한 AI 모델 학습이나 개발 작업에 활용될 수 있습니다. 따라서 Google AI 구독을 통해 개발 환경과 컴퓨팅 자원을 통합적으로 관리하고 활용할 수 있게 되었습니다.

샤오미의 오픈 웨이트 추론 모델인 MiMo-V2.6-Pro가 성능 지표에서 뛰어난 결과를 보였습니다. 이 모델은 AAII 46점을 기록하며 비슷한 크기의 공개 모델 비교군 중앙값인 18점을 크게 상회하는 성능을 달성했습니다.

이 모델은 전체 1조 개 중 토큰당 420억 개의 파라미터를 활성화하는 MoE(Mixture of Experts) 구조를 채택하고 있습니다. 이러한 구조는 모델의 효율성과 잠재적인 성능을 높이는 데 기여합니다.

또한, 샤오미는 이 모델의 가중치를 MIT 라이선스로 공개하여 상업적 사용과 자체 호스팅을 허용하고 있습니다. 이는 개발자들이 MiMo-V2.6-Pro를 활용하여 자체적인 AI 시스템을 구축하고 실험할 수 있는 기회를 제공합니다.

Filament은 데이터베이스와 업무 서비스의 데이터를 다른 데이터베이스, 데이터 웨어하우스, 객체 스토리지로 옮기고 동기화하는 데 사용되는 오픈소스 도구입니다. 이 도구는 Go 기반의 데이터 복제 엔진으로 설계되어 효율적인 데이터 이동을 지원합니다.

Filament은 데이터 복제 방식을 다양하게 지원하여 사용자가 필요에 따라 선택할 수 있도록 합니다. 전체 데이터를 한 번에 복사하는 방식 외에도 변경된 데이터만 가져오는 방식을 제공합니다.

특히 변경 데이터 캡처(CDC) 기능을 지원하여 데이터의 추가, 수정, 삭제 사항을 실시간으로 반영할 수 있습니다. 이는 데이터 동기화 시 발생하는 복잡한 변경 사항을 정확하게 처리하여 데이터 무결성을 유지하는 데 중요한 역할을 합니다.

Drop은 기존 작업 환경을 유지하면서 프로그램과 코딩 에이전트를 격리하는 Linux 샌드박스입니다. 이 시스템은 기존 배포판과 설치된 프로그램을 그대로 사용하기 때문에 개발자들이 익숙한 환경에서 에이전트를 실행하고 관리할 수 있습니다.

Drop의 핵심 기능은 환경마다 별도의 홈 디렉터리를 제공하고 원래의 홈 디렉터리를 숨김 처리하는 것입니다. 이는 에이전트가 잘못된 삭제 명령을 실행하거나 민감한 비밀 정보에 접근하는 것을 방지하여 보안을 강화합니다.

이러한 격리 메커니즘 덕분에 사용자는 익숙한 개발 환경을 유지하면서도 외부 에이전트의 접근을 효과적으로 통제할 수 있습니다. Drop은 gVisor를 지원하며 루트 권한 없이도 안전하게 샌드박싱 환경을 구축할 수 있게 해줍니다.

Rust 기반의 그래프 데이터베이스인 Fluree DB는 데이터의 현재 상태뿐만 아니라 변경 이력과 출처를 함께 관리하는 기능을 제공합니다. 이는 데이터의 신뢰성과 투명성을 높이는 데 중점을 두고 개발되었습니다.

이 데이터베이스는 Git과 유사하게 데이터베이스를 브랜치로 나누어 독립적으로 변경한 뒤 다시 병합할 수 있는 기능을 지원합니다. 개발자는 각 브랜치에서 안전하게 실험하고 변경 사항을 관리할 수 있으며, 필요에 따라 변경 이력을 추적하고 검증할 수 있습니다.

사용자는 시간을 기준으로 데이터의 변경 내역을 질의할 수 있어 데이터의 변화 과정을 상세하게 파악할 수 있습니다. 이러한 이력 관리 기능은 데이터의 출처와 변경 과정을 명확히 기록함으로써 데이터의 검증을 용이하게 하며, 복잡한 데이터 흐름을 관리하는 데 큰 도움을 줍니다.

Husky는 MLX보다 최대 4.5배 빠른 속도를 제공하는 모델 특화 추론 엔진입니다. 이 엔진은 여러 모델을 지원하는 대신 4B 모델인 Woof 하나에 최적화되어 애플 실리콘 환경에서 효율적인 추론을 가능하게 합니다.

이러한 Husky 엔진은 메일, 일정 관리, 회의록 요약 기능을 기기 내에서 처리하는 맥용 개인 AI 비서 앱 Underdog에 적용되었습니다. 이는 기기에서 직접 고성능 AI 작업을 수행할 때 추론 속도를 획기적으로 개선하여 사용자 경험을 향상시킵니다.

M5 Max 환경에서의 비교 테스트 결과, 같은 가중치와 동일한 출력을 요구하는 16가지 작업 모두에서 MLX보다 더 빠른 성능을 입증했습니다. 이는 Apple 실리콘 기반 기기에서 로컬 AI 추론 성능을 극대화하려는 개발자들에게 중요한 성능 개선 방안을 제시합니다.

OpenAI는 수학적 결과에서 비롯된 평판 위기에 대응하기 위해 인간 수학자들을 자문단으로 고용하기로 결정했습니다. 이들은 AI 회사들이 수학 연구 및 더 넓은 수학 커뮤니티와 상호작용하는 방식을 조율하는 데 도움을 줄 것입니다.

월요일에 OpenAI는 수학 연구의 발표 및 공개 방식 등을 포함하여 수학 연구와 광범위한 수학 커뮤니티와의 상호작용에 대해 AI 회사들에게 조언을 제공할 독립적인 수학자 패널을 발표했습니다. 이 패널의 갑작스러운 등장은 많은 수학자들에게 놀라움을 안겨주었습니다.

일부 연구자들은 이 그룹이 좋은 첫걸음이라고 평가했지만, 많은 이들은 이 패널이 실제로 어떤 역할을 할지에 대해 기본적인 질문을 가지고 있습니다. 이는 AI와 수학 분야의 접점에서 발생하는 윤리적, 방법론적 문제에 대한 접근 방식을 재고하게 만드는 중요한 움직임입니다.

Java 클래스 파일은 4바이트 식별값인 0xCAFEBABE로 시작합니다. 이 값은 자바 환경에서 클래스 파일의 종류와 버전 정보를 나타내는 데 사용되는 핵심적인 식별자입니다.

이 식별값의 유래에 대해 1996년경 개발자들 사이에서 그 의미를 둘러싼 추측과 말장난이 이어졌습니다. 많은 개발자들이 이 숫자가 어떤 의미를 가지는지에 대해 재미있는 가설을 제시하며 논의를 이어갔습니다.

하지만 초기 개발팀에 따르면 이 값은 단순히 재미를 위한 것이 아니라, 언어에 Java라는 이름이 붙기 이전에 이미 정해져 있던 값이라고 설명합니다. 따라서 0xCAFEBABE는 특정 의미를 내포하기보다는 자바 시스템의 초기 설계 과정에서 사용된 고유한 식별값이라는 점을 이해하는 것이 중요합니다.

코딩 에이전트가 코드를 작성하는 과정에서 Rust의 이름 있는 매개변수 도입에 대한 오랜 논쟁이 조건부 수용으로 바뀌었습니다. 이는 Rust 커뮤니티 내에서 이름 있는 인자(named arguments)를 사용하는 방식에 대한 반대가 완화되었음을 의미합니다.

이러한 변화는 개발자가 코드를 작성할 때 직접 입력해야 하는 부담을 줄여주는 긍정적인 효과를 가져옵니다. 하지만 이름 있는 인자를 사용하는 것이 호출부의 명확성을 확보하는 데 여전히 중요한 가치를 지니고 있습니다.

따라서 이름 있는 인자를 도입할 때 직접 입력의 부담을 줄이면서도 호출부의 명확성을 유지하는 균형점을 찾는 것이 핵심입니다. 코딩 에이전트의 사용 사례를 통해 실용적인 접근 방식을 모색할 필요가 있습니다.

깃허브에 공개된 retro-1620 프로젝트는 IBM 1620 모델-2 컴퓨터 시스템을 위한 웹 기반 에뮬레이터와 운영 환경을 구축하는 것을 목표로 합니다. 이 프로젝트의 주요 목적은 1960년대에 개발된 이 시스템의 소프트웨어를 복구하고, 특히 모델-2 변형에 대한 웹 브라우저 기반 에뮬레이터를 만드는 것입니다.

IBM 1620 시스템은 1960년대에 개발된 자기 코어 메모리 컴퓨터 시스템으로, 모델-1과 모델-2 두 가지 버전이 존재했습니다. 모델-2는 객체 코드 호환성을 가지며 재설계된 버전으로, 메모리 사이클 시간이 모델-1보다 빨랐고 하드웨어 나눗셈 및 간접 주소 지정이 표준 기능이었습니다. 이 시스템은 두 주소, 메모리-투-메모리 아키텍처를 사용했으며, 명령어는 연산 코드, 목적지 주소, 소스 주소 또는 리터럴 값으로 구성된 12자리로 정의되었습니다.

개발자들이 이 프로젝트에 관심을 가져야 하는 이유는 이 시스템에 대한 방대한 양의 소프트웨어와 역사적 맥락을 복원하려는 시도에 있습니다. 에뮬레이터는 단순히 하드웨어를 재현하는 것을 넘어, 당시의 프로그래밍 환경과 운영 체제인 "Monitor"와 같은 소프트웨어까지 복원하는 것을 목표로 합니다.

이 프로젝트는 MIT 라이선스로 공개되어 있으며, 개발자들은 이 에뮬레이터를 통해 구형 컴퓨터 시스템의 작동 방식을 이해하고 관련 소프트웨어를 접근할 수 있습니다. 이는 컴퓨터 아키텍처 역사와 레거시 시스템 소프트웨어에 관심 있는 개발자들에게 중요한 참고 자료가 될 것입니다.

사전 학습된 생성 확산 변환기(DiT)는 대규모 이미지 및 비디오 생성 훈련을 통해 풍부한 픽셀 수준의 시각 및 언어 조건화 구조를 포착합니다. 이러한 생성적 사전 지식을 로봇 정책에 적용하는 연구가 진행되고 있지만, 이를 제어에 어떻게 효과적으로 전달할지에 대한 방법은 여전히 불분명합니다.

연구진은 사전 학습된 생성 DiT가 행동 학습에 실제로 어떻게 기여하는지, 그리고 이 사전 지식을 제어에 어떻게 적응시켜야 하는지에 대한 질문을 던지며 NowWAM이라는 새로운 방법을 제안했습니다. NowWAM은 현재 관측값을 노이즈 제거하고 동일한 시각 스트림에서 로봇 행동을 예측하는 방식으로, 생성 목표를 노이즈 제거 궤적 전체에 걸쳐 행동 관련 표현과 직접 결합하는 미래 목표 없는 공동 훈련 공식화입니다.

이 방법은 제어에 있어 과거와 미래 시각 목표가 비교할 만한 성능을 보이며, 훈련을 깨끗한 종점(clean endpoint)으로 제한할 경우 생성적 적응에 별도의 미래 목표가 필수적이지 않음을 시사합니다. 또한 LIBERO-Plus 환경에서 FLUX2-Klein 백본을 사용할 때 NowWAM은 기존의 미래 목표 공동 훈련 기준보다 6.1%p 향상된 87.7%를 달성했으며, 훈련 시 시각 토큰을 절반으로 줄이고 단계 시간을 2.85초에서 1.63초로 단축하여 1.8배의 속도 향상을 이루었습니다.

나아가 순수 텍스트-이미지 Z-Image 백본을 사용했을 때 NowWAM은 87.8%에 도달하여 강력한 제어 적응이 비디오 생성이나 이미지 편집 백본에 얽매이지 않음을 보여줍니다. 이는 생성 모델의 강력한 표현을 로봇 제어에 활용하는 데 있어 백본의 종류에 구애받지 않는 효과적인 인터페이스가 존재함을 입증합니다.

자기 주의 기반 비전 백본은 밀집 예측에서 좋은 성능을 보이지만, 전역 소프트맥스 어텐션의 이차적인 계산 비용 때문에 이미지 해상도가 증가할수록 효율성이 제한됩니다. 이에 연구진은 게이티드 토큰 재귀(GTR)라는 소프트맥스 없는 순환 비전 백본을 제안했습니다. GTR은 게이티드 선형 어텐션, 교대 공간 스캔 방향, 공간적으로 향상된 SwiGLU 블록을 결합하여 효율성을 높입니다.

GTR은 DINOv3 교사 모델로부터 최종 레이어 패치-토큰 정렬을 통해 증류되었으며, 마스크 토큰 예측이나 중간 레이어 감독 없이 학습이 진행되었습니다. 이 모델은 Objects365 검출기 사전 학습을 통해 GTR-L로 구현되었고, RTX~4090에서 컴파일된 FP16 실행 환경에서 1.908ms의 중앙 배치당 지연 시간으로 COCO val2017에서 58.9 box AP를 달성했습니다.

GTR 백본은 인스턴스 분할, 자세 추정, 방향 감지, 의미론적 분할, 단일 모노큘러 깊이 추정 등 다양한 작업으로 확장될 수 있습니다. 또한, 특화된 청크별 CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준으로 FLA v0.5.0보다 4.0배 빠른 성능을 보였습니다.

이러한 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포를 위한 전역 소프트맥스 어텐션의 효율적인 대안이 될 수 있음을 보여줍니다. DRIVE AGX Thor에 TensorRT로 배포했을 때도 2.282~8.769ms의 중앙 배치당 지연 시간을 달성하여 효율적인 엣지 컴퓨팅 환경에 적합합니다.

장기적인 체화된 상호작용을 위해서는 에이전트가 관찰, 행동, 변화를 경험하면서 환경에 대한 정보를 유지하고 지속적으로 업데이트해야 하지만, 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪고 있습니다. 연구진은 이러한 한계를 네 가지 주요 결함, 즉 미흡한 세밀한 시각 메모리, 불안정한 동적 세계 상태 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 그리고 이전 경험으로부터의 제한된 일반화에서 비롯된다고 분석했습니다.

기존 벤치마크들은 장기적인 체화된 상호작용 중 메모리 능력을 직접적으로 평가하지 못하는 한계가 있습니다. 이를 해결하기 위해 연구팀은 2,554개의 상호작용 에피소드를 포함하는 네 가지 작업 가족으로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 도입했습니다. 이 벤치마크는 에이전트가 상호작용 기록으로부터 메모리를 구축하고 업데이트한 후, 이를 사용하여 환경에서 행동함으로써 후속 작업을 완료하도록 요구합니다.

또한, 체화된 경험을 공간, 이벤트, 장면 메모리로 구성하는 외부 메모리 시스템인 Embodied-Memorizer(EMem)를 제시했습니다. 이 시스템을 기반으로 8B 정책 모델인 EMem-8B를 훈련시켜 메모리를 관리하고 활용하도록 했습니다. 평가 결과, 현재 모델들은 네 가지 도전 과제 전반에서 여전히 약하고 불균형한 성능을 보였습니다. 그러나 EMem은 평가된 메모리 시스템 중 전반적으로 최고의 성능을 달성했으며, 오픈 소스 및 독점 모델 모두를 개선했습니다. 특히 EMem-8B는 기반 모델보다 더 나은 성능을 보였습니다.

시계열 에이전트가 외부 도구를 호출하여 분석 질문에 답하는 방식에서 두 가지 실패가 발견되었습니다. 첫째는 인간과 에이전트 간의 도구 불일치로, 전문가가 선별한 21개의 도구가 일부 작업에서는 도움이 되지만 다른 작업에서는 오히려 정확도를 떨어뜨리는 문제가 발생했습니다. 둘째는 조용한 피해로, 일반적인 자기 수정 과정에서 147개의 답변이 변경되고 56개가 손상되었으나 최종 점수는 거의 변하지 않는 현상이 나타났습니다.

이러한 실패는 도구가 실시간으로 질문별로 도움이 되는지 결정되지만, 도구는 미리 제공되고 단일 평균으로 평가된다는 근본적인 격차에서 비롯됩니다. 이를 해결하기 위해 연구진은 TimeEvo라는 방법론을 제안했습니다. TimeEvo는 에이전트의 진단된 실패를 역량 격차로 분류하고, 각 격차에 대한 측정을 계획하며, 이를 채우는 증거 기반 도구를 합성하고, 쌍방 승인 게이트를 통해 후보 라이브러리를 허용하는 방식으로 작동합니다.

열 가지 시계열 QA 작업과 세 가지 백본 모델에 대한 실험 결과, TimeEvo는 빈 라이브러리에서 시작하여 모든 작업과 백본에서 정확도를 향상시켰습니다. 또한, 저렴한 모델에서 성장한 라이브러리도 더 강력한 모델에 설치될 때 성능 향상을 얻는 것으로 나타났습니다. 이 연구는 에이전트의 자기 진화 과정에서 발생하는 실패를 개선하는 데 실질적인 기여를 합니다.

TimeEvo의 코드는 https://github.com/Muyiiiii/TimeEvo에서 확인할 수 있습니다.

온폴리 정책 증류(OPD)는 학생 모델이 작성하는 응답을 교정하지만, 교사의 다음 토큰 분포에 의존하기 때문에 학생이 어떻게 생각하는지에 대한 정보는 놓친다. 잠재적 감독(Latent supervision)은 학생의 잠재 상태를 교사의 상태에 맞춤으로써 이 부족한 부분을 채우는 것을 목표로 한다.

하지만 Qwen3-4B 및 Qwen3-8B 모델을 Qwen3-1.7B-Base로 증류하는 과정에서 이 방식에 두 가지 실패가 관찰되었다. 첫째는 초기에는 성능이 향상되다가 후반부에 급격히 성능이 저하되는 현상이다. 잠재적 감독만으로는 MATH-500 정확도를 25점에서 46점으로 올릴 수 있었으나, 이후 훈련에서는 성능이 11점으로 하락하며 회복되지 않았다. 둘째는 정렬 지표가 개선될수록 가장 정렬된 모델이 오히려 성능이 가장 낮은 현상이다.

이는 잠재 신호가 적용되는 방식에 불일치가 있음을 시사하는데, 깊이에 따라 쌍을 이루는 레이어들이 두 모델에서 다른 역할을 하기 때문이다. 이를 해결하기 위해 LastOPD는 잠재 신호를 마지막 레이어 상태에만 적용하고 토큰 수준의 OPD로 전환하는 10단계 교차 과정에서만 사용한다. 이 방법은 유용한 잠재 신호를 보존하면서 성능 저하가 발생하기 전에 토큰 수준의 감독으로 전환시킨다.

실험 결과, LastOPD는 토큰 전용 OPD보다 4B 및 8B 교사 모델을 사용하여 MATH-500 점수를 5.55점과 4.02점 향상시켰으며, 대부분의 홀드아웃 데이터셋에서 우위를 보였다. 또한 토큰 전용 OPD와 동일한 최종 점수에 약 절반의 단계로 도달했다.

인간의 손-물체 상호작용(HOI)은 정교한 조작을 위한 풍부한 시연 자료를 제공하지만, 형태 차이(morphology gap)를 해소하고 동역학적 실현 가능성을 보장하며 시뮬레이션에서 실제 환경으로의 배포를 보장하는 데 어려움이 있습니다. 이 문제를 해결하기 위해 연구진은 재구성된 HOI를 제로샷 시뮬레이션-실제(sim-to-real) 시각운동 정책으로 변환하는 3단계 프레임워크인 형태 측정 모방(Morphometric Imitation)을 제시했습니다.

첫 번째 단계인 형태 측정 최적화(MMO)는 시연된 접촉을 보존하면서 다양한 손 형태에 걸쳐 인간의 움직임을 운동학적으로 재타겟팅합니다. 다음으로 잔차 강화 학습(RL)은 인간 움직임에서 얻은 물체 자세 및 접촉 정보를 사용하여 운동학적 참조를 개선함으로써 동역학적으로 실현 가능한 로봇 시연을 생성합니다. 마지막으로 이 시연들은 시각운동 정책으로 정제됩니다.

이러한 방법론을 세 가지 로봇 손과 열 가지 HOI에 적용한 결과, MMO는 다섯 가지 기준선 중 가장 강력한 기준선 대비 모든 손에 대해 접촉 F1 점수를 최소 8점 향상시키고 다운스트림 동적 재타겟팅 성공률을 최대 35점 향상시켰습니다. 특히 잔차 RL에 대한 분석은 물체 자세와 접촉 정보를 사용하는 것이 상호 보완적인 이점을 제공함을 보여줍니다. 최종적으로 도출된 시각운동 정책은 300회의 실제 환경 실험에서 30개의 물체에 대해 89.3%의 제로샷 성공률을 달성했습니다.

거대 언어 모델(LLM)이 수십 년간 열려 있던 고급 수학 문제를 해결하는 능력이 향상되면서 수학 지식의 확장 가능성이 전례 없는 규모로 열리고 있습니다. 하지만 LLM이 정리와 증명을 더 많이 추측하고 증명할 수 있게 되더라도, 이 새로운 수학적 지식이 흥미롭거나 유용한지에 대한 문제는 여전히 남아 있습니다.

연구진은 정리의 내재적 흥미로움을 정리의 길이와 명제의 길이의 비율로 정의하고, 이것이 정리의 다운스트림 유용성에 대한 외재적 측정치와 강하게 상관관계가 있음을 보였습니다. 이를 위해 증명의 난이도를 측정하는 것을 유용한 기본 요소로 삼아 270억 파라미터 모델을 훈련시켜 최첨단 범용 모델보다 더 정확하게 증명 난이도를 예측했습니다.

이러한 측정 기준을 최적화하면 더 흥미로운 정리를 생성하는 동시에 Mathlib과 같은 공식 수학 라이브러리와의 중복을 91.9%에서 30.6%로 줄여, 기존에 알려지지 않은 수학(out-of-distribution math)을 창출할 수 있음을 입증했습니다.

이 시스템은 후보 정리를 생성하고 가장 흥미로운 것을 선택하며, 이를 통해 스스로 확장하는 수학 라이브러리를 반복적으로 구축할 수 있습니다. 이러한 측정치들은 추측을 순위화하고 형식적인 수학 라이브러리 내에서 증명 탐색을 안내하는 실용적이고 정량화된 신호를 제공하며, 인간이 제공한 목표에 의존하지 않고 가치 있는 명제를 선택할 수 있는 자가 확장형 기계 검증 수학 라이브러리로 가는 길을 제시합니다.

월 액션 모델(WAM)은 사전 학습된 비디오 생성기에서 시각 및 운동 사전 지식을 로봇 제어로 전달하여 시각 역학과 행동을 공동으로 모델링합니다. 하지만 기존 WAM은 훈련 과정에서 밀집된 미래 프레임을 예측하여 크게 변하지 않은 콘텐츠를 반복적으로 모델링하고, 행동 조건부 역학을 방해되는 외관 변화에 결합하는 한계가 있습니다. 이러한 방식은 추론 시 무거운 비디오 전문가를 사용하여 각 완전한 관측을 처리함으로써 몇 단계 행동 생성에 병목 현상을 일으킵니다.

이에 본 논문은 시각 델타와 행동을 밀집 앵커, 희소 델타, 행동 스트림을 사용하여 공동으로 예측하는 DeltaWAM을 제안합니다. 이 모델은 표현 및 계산 공유에 따라 세 가지 아키텍처로 구성되어 있습니다. 또한, 스트리밍 델타 메모리(SDM)를 개발하여 관측된 델타를 사용하여 캐시된 앵커 컨텍스트를 업데이트함으로써 무거운 비디오 전문가 처리를 줄입니다.

RoboTwin 환경에서 DeltaWAM과 SDM을 적용했을 때, Fast-WAM 대비 평균 성공률이 깨끗한 설정에서는 81.3%에서 85.4%로, 시각적 무작위화 조건에서는 75.8%에서 83.9%로 향상되었습니다. 이 세 가지 아키텍처는 훈련 FLOPs를 17.78~23.77% 감소시켰으며, SDM은 단일 단계 추론 지연 시간과 FLOPs를 각각 36.57%와 31.55% 감소시킵니다. 실제 환경 평가에서도 평가된 정책들 중 가장 높은 전체 성공률과 정규화된 진행 상황을 보였습니다.

최근 대규모 언어 모델(LLM)의 발전으로 에이전트가 다양한 환경에서 장기 목표를 수행할 수 있게 되었지만, 기존의 언어 세계 모델은 환경 관찰 결과를 예측하는 데 그치고 실행 의존적인 도구 응답을 재구성하는 데는 한계가 있습니다. 또한 에이전트는 역사에 지원되지 않는 가정이나 오래된 계획이 남아 다음 결정을 왜곡하는 작업 상태 오염 문제를 겪습니다.

이에 연구진은 도구 응답을 시뮬레이션하는 대신 추론과 행동이 미래의 작업 진행 상황을 어떻게 형성하는지를 모델링하는 에이전트 편집 세계 모델(Agent-Editing World Model, AEWM)을 제안했습니다. AEWM은 액션 심판(Action Judge)을 사용하여 결정의 중요도(Critical, Exploratory, Noisy)를 구별하고, 상태 수정(State Revision)을 통해 동일한 관찰 기록에서 나온 노이즈가 있는 추론 및 행동 연속을 편집합니다.

이러한 능력은 실제 실행과 통합된 편집 액트(EditAct)를 통해 다음 결정의 기반이 되는 상태를 직접 변경합니다. 연구진은 검색, 터미널, 소프트웨어 엔지니어링 분야에서 AEWM을 중간 훈련 및 지도 미세 조정을 통해 학습시켰습니다. 이 결과, AEWM은 액션 심판 벤치마크에서 70.5%의 매크로 F1 점수를 달성하며 가장 강력한 최전선 기준선보다 10.6점을 상회했습니다.

더 나아가, 검증된 편집 액트 궤적에 대한 거부 샘플링 미세 조정을 AEWM-RFT로 명명했는데, 이는 온라인 AEWM 지침 없이도 세 가지 도메인에서 자체 RFT보다 2.2~2.6점의 성능 향상을 보였습니다.

최근 연구는 비디오 생성 모델이 인간의 인지적 선험(priors)인 객체 영속성과 견고성을 갖추기 시작했으며, 이는 인간과 유사한 물리적 지능을 구축하는 데 이상적인 후보임을 보여줍니다. 이러한 문제를 해결하기 위해 연구진은 인지 과학에 기반한 데이터 인프라인 WROP(World Reasoning with Object Permanence)를 소개했습니다.

WROP는 여섯 가지 인지 범주로 나뉜 150개의 수작업으로 설계된 인지 과학 기반 과제로 구성된 데이터 인프라입니다. 연구진은 블렌더 생성기를 사용하여 속도, 조명, 카메라 각도와 같은 방해 요소들을 무작위화하면서도 각 과제의 인지 구조를 보존하여 각 작업당 10,000개 이상의 샘플을 생성했습니다. 이 결과로 150만 개의 샘플 훈련 코퍼스와 300문제 시험지를 공개했습니다.

이 데이터와 시험지를 사용하여 14개의 비디오 모델을 평가했으며, 그중 16B 규모의 PWM-WROP 세계 모델이 이어지는 모델(continuation) 중에서 1위를 차지하고 전체적으로 세 번째 순위를 기록했습니다. 연구진은 데이터, 시험, 모델 답변, 점수, 가중치, 그리고 AWS Trainium2 기반의 네이티브 PyTorch 훈련 스택을 공개했습니다.