읽을 가치가 있는 기사만, 짧고 또렷하게.

비전-언어-행동(VLA) 정책은 로봇 조작에서 뛰어난 성능을 보이지만 환경적 결과를 명시적으로 모델링하지 못하는 한계가 있습니다. 세계 행동 모델(WAM)은 미래 예측을 포함하지만 비용이 많이 드는 비디오 생성에 의존하며, 잠재적인 대안들은 비효율적인 시각적 전환으로부터 잠재 행동을 추론하기 위해 대규모 비디오 사전 학습을 사용합니다. 이러한 문제를 해결하기 위해 본 논문은 경량 잠재 세계 모델을 통해 VLA와 WAM을 연결하는 프레임워크인 WAVE-0(World-model-Augmented VLA Execution)을 제안합니다.

WAVE-0은 사전 학습된 VLA의 의미론적 이해와 명시적인 미래 예측을 결합하여 예상되는 행동 결과를 직접적으로 행동 생성에 안내합니다. 이 프레임워크는 사전 학습된 VLA를 기반으로 하는 2억 5천 7백만 개의 세계 모델을 구축하여 VLM이 생성한 잠재 행동 계획을 예측된 미래 표현으로 변환하고 이를 행동 전문가에게 조건화합니다. 특히 이 세계 모델은 픽셀 재구성이나 대규모 비디오 사전 학습 없이 사실적인 로봇 행동에 직접적으로 훈련되며 반사실적 순위 목표를 사용하여 학습됩니다.

이러한 접근 방식은 강력한 조작 성능과 다양한 분포 변화에 걸친 일반화 능력을 입증합니다. WAVE-0은 RoboTwin 2.0에서 91.47%, LIBERO에서 98.7%의 성공률을 달성했으며, LIBERO-Plus, LIBERO-Pro, LIBERO-Para에서도 각각 88.0%, 61.4%, 75.0%의 성공률을 기록했습니다. 또한 실제 환경 작업에서 $\pi_{0.5}$ 성공률을 38.3%에서 73.3%로 향상시켜 실질적인 조작 능력을 크게 개선했습니다.

도시 규모의 3D 그라운딩은 일반적으로 사전 계산된 인스턴스 제안을 필요로 하는 후보 순위 지정 방식으로 이루어져 대규모 야외 장면에서 비효율적입니다. 이에 따라 연구진은 능동적인 공간 탐색을 통해 그라운딩을 수행하는 에이전트 기반 비전-언어 프레임워크인 Urbex를 제안했습니다.

Urbex는 도시 규모의 3D 장면을 상호작용 가능한 다중 시점 환경으로 표현하며, VLM 에이전트가 랜드마크를 질의하고, 특정 영역으로 확대하며, 사선 시점을 렌더링하고, 최종적으로 그라운딩된 경계 상자를 확정할 수 있도록 합니다. 이 도구 사용 정책은 CityRefer를 사용하여 강화 학습으로 최적화되었으며, 효율적인 탐색을 위해 부드러운 위치 보상과 가벼운 형태 보상을 사용했습니다.

실험 결과 Urbex는 CityRefer에서 최고의 Hit@1 및 IoU를 달성했으며, 정답 상자 없이 후보 없는 그라운딩을 지원하고 기존의 강력한 순위 지정 기준보다 훨씬 빠른 속도를 보였습니다. 또한 STPLS3D-Refer에 대한 제로샷 결과는 장면 간 견고성이 향상되었음을 추가로 입증합니다.

System one 모델은 직접적이고 낮은 지연 시간의 의사 결정을 가능하게 하지만, 현재 직렬화된 텍스트에서 답을 예측하는 관행은 의사 결정 문제의 구조를 존중하지 못한다는 한계가 있습니다. 연구진은 현재 설계가 네 가지 중요한 구조적 요구 사항을 충분히 강조하지 못한다고 주장하며, 이를 해결하기 위한 의사 결정 중심의 아키텍처인 Jeva를 제안합니다.

Jeva는 (i) null-aware(답변 부재와 후보 간의 불확실성 구별), (ii) permutation-invariant(대안 순서 변경이 결정에 영향을 미치지 않음), (iii) option-scalable(후보 집합이 커져도 출력 공간을 재정의할 필요 없음), 그리고 (iv) cacheable(반복되는 대안에 대한 계산이 재사용 가능함)이라는 네 가지 요구 사항을 동시에 해결합니다. 이를 위해 Jeva는 요청과 각 옵션을 독립적으로 표현하는 공유 인코더와 불변의 옵션 메모리 대비 요청 상태만을 정제하는 컴팩트한 결정 스택을 사용합니다.

이러한 메커니즘을 통해 대칭적 집계는 순열 동등한 확률을 산출하며, 별도의 커버리지 추정치를 통해 답변 부재와 후보 경쟁을 구별하여 명시적인 null 결과를 가능하게 합니다. Jeva는 선택(Choice), null(Noul), 점수(Score) 출력을 통합하며, 테스트된 모든 순열에서 결정이 뒤집히지 않으면서 거의 완벽한 null 감지 및 강력한 유형 결정 성능을 결합합니다.

Jeva는 수천 개의 후보에 확장 가능하며, 결정에 변화를 주지 않고 요청 간 재사용을 통해 지연 시간을 크게 줄여줍니다. 이는 시스템이 대규모 후보군을 다루면서도 낮은 지연 시간과 높은 안정성을 유지할 수 있도록 합니다.

대규모 언어 모델이 단일 턴 챗봇에서 장기 추론이 가능한 상호작용형 에이전트로 발전하면서 실제 환경에서 노이즈가 포함된 피드백을 처리하고 실패를 복구하는 데 한계가 있었습니다. 기존 방법들은 에이전트의 반성 학습과 실패 복구에 대한 감독이 부족했기 때문에, 본 연구는 에이전트의 능동적인 반성을 장려하기 위한 일반적인 훈련 프레임워크인 Agent-Reflex를 제안합니다.

Agent-Reflex는 세 단계로 구성되어 있는데, 첫 단계인 환경 반성 기술 발견(RSD)은 환경 스케일링에 실제 도구 피드백 교란을 주입하고 성공 및 실패 쌍을 채굴하여 재사용 가능한 반성 메타 기술을 요약합니다. 이 기술 라이브러리를 기반으로 반성 지도 미세 조정(ReSFT)을 적용하여 각 기술을 자기 반성, 기술 복구, 사용자 중심 수정에 대한 감독으로 변환하여 반성 행동을 강화합니다. 마지막으로, 노이즈가 있는 상호작용 하에서의 에이전트 강화 학습과 반성 유도 증류를 결합하는 온-폴리 반성 정책 최적화(ORPO)를 제안합니다.

Qwen3-8B를 기반으로 구축된 Agent-Reflex는 다섯 가지 장기 도구 사용 벤치마크에서 58.6점, AgentNoiseBench에서 29.1점을 달성하며 강력한 환경 스케일링 및 반성 기준선을 능가했습니다. 실험 결과는 Agent-Reflex가 노이즈에 대한 에이전트의 견고성을 향상시키면서도 안정적인 훈련 역학을 유지하여 확장 가능한 에이전트 훈련을 지원함을 보여줍니다. 이 연구는 에이전트가 실제 환경에서 노이즈에 강건해지도록 돕는 실질적인 방법을 제시합니다.

오픈 소스 음성 생성 모델인 Fish Audio Drama 3가 발표되었으며, 이는 텍스트를 지시된 연기로 변환하는 기능을 제공합니다. 이 모델은 350억 개의 파라미터를 가진 Mixture-of-Experts 백본을 기반으로 하며 토큰당 30억 개의 파라미터를 활성화하여 고품질의 음성 생성을 가능하게 합니다.

Drama 3는 단순히 음성을 합성하는 것을 넘어, 여러 기능을 통합하여 멀티턴 수정, 장면 더빙, 인필링을 통한 편집, 스트리밍 텍스트 입력 등을 하나의 모델에서 처리할 수 있게 합니다. 구체적으로는 여러 참조로부터 목소리를 복제하고, 자연어 지시를 따르며, 다음 턴의 메모에 따라 테이크를 수정하고, 다중 캐릭터 장면을 목소리로 표현할 수 있습니다.

이 모델은 하이브리드 선형 어텐션 백본과 새로운 코드북 멀티 토큰 예측 오디오 디코더를 결합하여 시퀀스 전체에 주의를 기울이는 전용 레이어에서 각 프레임의 음향 코드북을 예측합니다. 또한, 인간의 선호도를 보상으로 하는 대규모 배치 강화 학습을 통해 훈련되었으며, H200 GPU에서 단일 스트림을 초당 271프레임으로 디코딩할 수 있는 추론 엔진을 갖추고 있습니다.

모델 가중치는 GitHub와 Hugging Face에서 공개되어 있으며, SGLang-Omni를 통해 추론이 가능합니다. 개발자들은 공식 웹사이트를 방문하여 직접 연기를 지시할 수 있도록 권장하고 있습니다.

시각 에이전트는 진행 상황을 추적하고 다음 행동을 선택하기 위해 비디오 관찰을 시의적절한 결정으로 전환해야 합니다. 이를 위해 연구진은 등장하는 System One 패러다임을 기반으로 비디오 이해 및 상호작용을 구조화된 결정 작업으로 제시하는 VideoJev 모델군을 소개합니다. VideoJev는 사전 학습된 멀티모달 대규모 언어 모델(MLLM)을 활용하여 자기회귀적 답변 디코딩 대신 공유 헤드를 사용하여 비디오 증거에 대해 시간 간격과 텍스트 옵션을 점수화함으로써 모델을 조정합니다. 이 점수들은 이벤트 범위나 답변 선택지를 산출하여 시간적 근거와 다중 선택 비디오 질문 응답을 통합하며, MLLM의 의미론적 유연성과 에이전트가 직접 사용할 수 있는 효율적인 결정을 결합합니다.

상호작용이 진행됨에 따라 새로운 목표와 중간 결과가 발생하면 동일한 시각 기록에 대한 추가 질의가 필요합니다. 따라서 VideoJev는 도착하는 질의에 대해 캐시 추론(Cached inference)을, 단일 순방향 패스에서 여러 질의에 대해 공동 추론(Joint inference)을 통해 시각 연산을 재사용합니다. 이러한 접근 방식은 복잡한 개방형 워크플로우를 구성하기 위해 구조화된 시각 판단을 통합하는 재사용 가능한 결정 인터페이스를 제공합니다.

세 가지 시간적 근거 벤치마크에서 VideoJev-4B와 VideoJev-35B-A3B는 각각 6.7점과 10.8점으로 백본 모델 대비 평균 mIoU를 향상시켰으며, 추론 속도는 2.8~3.1배 향상되었습니다. 또한 네 가지 비디오 QA 벤치마크에서는 Thinking 모드에서 백본과 비교하여 성능이 유사하며, 추론 속도는 100배를 초과했습니다. 이 결과는 시각적 판단을 복잡한 워크플로우로 구성하는 데 유용한 통합적이고 재사용 가능한 결정 인터페이스를 제공합니다.

비전-언어 모델(VLM)의 발전으로 GUI 에이전트의 능력이 크게 향상되었으며, 과거 상호작용에서 지식을 재사용하기 위한 메모리 증강이 유망한 접근 방식으로 주목받고 있습니다. 그러나 기존의 메모리 증강 GUI 에이전트들은 일반적으로 고정된 표현 전략을 채택하여 검색된 경험을 정적인 양식으로 제공합니다. 따라서 단일 메모리 양식이 항상 최적인지, 또는 상호작용 단계에 따라 양식 선호도가 어떻게 변화하는지는 명확하지 않았습니다.

본 연구는 VLM 기반 GUI 에이전트에서 메모리 양식에 대한 체계적인 연구를 수행했으며, GUI 벤치마크 전반에 걸쳐 선호되는 메모리 표현이 단계에 따라 강하게 달라진다는 것을 발견했습니다. 이러한 발견을 바탕으로 각 단계마다 텍스트와 시각 메모리 표현 사이를 동적으로 선택하는 라우팅 프레임워크인 SwitchMem을 제안했습니다.

SwitchMem은 세 가지 GUI 벤치마크에서 정적인 메모리 표현에 의존하는 메모리 증강 기준선보다 우수한 성능을 보였습니다. 이는 메모리 양식 선호도가 고정된 설계 선택이 아니라 단계에 따라 결정되는 의사결정임을 입증합니다. 이 연구는 메모리 양식 선택이 동적인 결정임을 보여주며, GUI 에이전트의 메모리 관리 및 효율성을 개선하는 데 중요한 시사점을 제공합니다.

신뢰할 수 있는 비디오 추론을 위해서는 모델이 정확한 답변을 제시하고 이를 뒷받침하는 시각적 증거를 공개해야 합니다. Open-o3-Video는 추론 과정에 타임스탬프와 객체 수준의 경계 상자를 임베딩하여 추론의 검증 가능성을 확보합니다.

이를 확장하여 Open-o3-Video-v2는 비디오 추론을 통합된 에이전트 기반 증거 기반 과정으로 공식화합니다. 이 모델은 누락된 정보를 식별하고 추가 관찰을 획득하며, 추론을 뒷받침하는 순간과 객체를 기반으로 증거를 확보하여 이를 궤적에 기록합니다. 이러한 행동을 지원하기 위해 52K의 다중 턴 에이전트 기반 추론 궤적을 포함하는 STGR-v2-CoT135K와 강화 학습을 위한 STGR-v2-RL-13K를 구축했습니다.

또한, 도구 호출이 축적된 증거에 어떻게 변화를 주는지 추적하고, 단서 커버리지와 단계별 이득을 보상하며 과도하거나 반복적이거나 불충분한 검색을 처벌하는 Clue-Seek GRPO(CS-GRPO)를 제안했습니다. V-STaR 벤치마크에서 Open-o3-Video-v2-4B는 mAM 40.4%와 mLGM 56.3%를 달성하며 Qwen3-VL-4B 백본 대비 각각 8.5%와 12.6%의 성능 향상을 보였습니다.

이 결과는 능동적인 증거 획득과 검증 가능한 객체 수준의 기반 설정이 신뢰할 수 있는 비디오 추론에 상호 보완적임을 보여줍니다. 관련 코드와 모델은 https://msalab-pku.github.io/projects/Open-o3-Video-v2에서 공개되어 있습니다.

장기 목표 에이전트를 강화 학습으로 훈련하기 위해서는 상호작용 환경의 확장이 중요하며, 초기 생성 후에도 환경과 과제의 결함을 수정하고 구성 요소를 정렬하는 반복적인 개선 과정이 필요합니다. 기존의 구축 파이프라인은 이러한 반복적인 개선을 지원하는 데 한계가 있어, 본 논문은 재귀적 환경 진화를 통해 장기 협업 에이전트를 훈련하는 프레임워크인 WorkRover를 제안합니다.

WorkRover는 하네스 기반 합성(harness-driven synthesis)을 통해 구성 에이전트가 작업 컨텍스트, 실행 가능한 과제, 증거 기반 검증기(verifier)를 공동으로 구축하고 검증할 수 있게 합니다. 이는 고정된 구축 워크플로우를 따르기보다 작업 공간 상태와 실행 피드백에 따라 행동을 적응시키는 방식으로 작동합니다. 환경 진화를 지원하기 위해 도입된 Factorial Compatibility Replay(FCR)는 롤아웃 피드백을 사용하여 구성 요소 조합을 평가하고, 종속성 기반 리플레이를 통해 최소한의 유효한 수리를 선택합니다.

또한, 더 세밀한 훈련 신호를 제공하기 위해 Verifier-to-Turn Credit Assignment(VTCA)를 제안했는데, 이는 결정론적인 작업 공간 진행 확인 신호와 기록된 도구 출력 및 아티팩트 종속성을 사용하여 선행 턴에 대한 보상 크레딧을 할당합니다. 이러한 WorkRover를 사용하여 Qwen3.5-35B-A3B를 추가 훈련하여 WorkRover-35B-A3B를 얻었고, 여러 협업 에이전트 벤치마크에서 평가했습니다.

그 결과, WorkRover-35B-A3B는 JobBench에서 26.27%, OfficeQA Pro에서 29.32%, GDPval v2에서 413.25 Elo 포인트만큼 Qwen3.5-35B-A3B보다 높은 점수를 기록했습니다. 이는 WorkRover가 장기 협업 에이전트의 확장 가능한 훈련을 위한 유망한 기반을 제공함을 시사합니다.

다중 턴 에이전트의 강화 학습(RLVR)은 희소한 최종 보상에 의존하기 때문에 개별 단계에 대한 평가가 어렵다는 문제가 있습니다. 특히 단계별 점수를 매기기 위해서는 비용이 많이 드는 외부 평가자나 인간 주석, 또는 특정 작업에 특화된 발견법이 필요합니다.
이러한 문제를 해결하기 위해 연구진은 공유 진행계(progress meter)를 통해 재사용 가능한 진행 신호를 학습하는 DeltaTTG를 제안합니다. 이 방법은 특정 작업 규칙 없이 다양한 정책의 기록된 궤적으로부터 저비용 감독을 사용하여 진행하며, 감독 목표는 작업 완료까지 생성해야 할 토큰 수인 토큰-투-고(Token-to-Go, TTG)로 설정하여 남은 완료 노력의 관측 가능한 대리 지표로 사용합니다.
학습 과정에서 고정된 미터의 추정치가 변경되면 보상에 영향을 주지 않으면서 단계별로 결과 기반 이점을 재분배하여 각 궤적의 이점 부호와 토큰 평균 규모를 보존합니다. 이 기술은 ALFWorld, PaperSearchQA, BFCLv3 환경에서 GRPO 대비 평균 점수를 각각 5.7점과 7.2점으로 향상시켰으며, Qwen3-4B와 Llama-3.1-8B-Instruct 모델을 사용하여 비교 대상 RL 기준선보다 평균적으로 우수한 성능을 보였습니다.
또한 DeltaTTG는 액터 크기에 관계없이 단계 품질을 구별하고 테스트 시간 행동 선택을 안내하는 미터의 능력을 입증하며, 샘플 효율성과 도메인 외 성능을 개선하는 추가 실험 결과도 제시합니다. 이 코드는 GitHub에서 공개되어 있습니다.

인간 시범으로부터 휴머노이드의 운동 조작(loco-manipulation)을 학습하는 연구에서, 이동, 자세, 물체 상호작용이 함께 발전하는 과정을 관찰하는 것이 중요합니다. 기존 데이터셋은 이러한 협응 관계를 부분적으로만 보여주기 때문에, 연구진은 웨어러블 시스템을 기반으로 100시간 분량의 시각-운동-촉각 관측소인 EgoExplorer를 제안합니다.

EgoExplorer는 전문 활동에 중점을 두고 연속적인 녹화를 통해 주관적 비디오와 재구성된 전신 움직임, 세밀한 손가락 관절 움직임, 촉각 관찰, 그리고 단계별 설명을 정렬합니다. 이러한 희소한 신체 감지 정보로도 포괄적인 데이터를 확보하기 위해 Calibrate-Complete-Constrain 파이프라인을 개발했습니다. 이 방법은 움직임 추론 전에 참가자의 기하학과 센서 부착 위치를 재사용 가능한 보정을 통해 고정하여 장착 오프셋과 관절 움직임을 분리합니다.

이러한 방법은 측정 일치도, 시간적 연속성, 기하학적 일관성 등 움직임의 타당성만으로는 보장되지 않는 속성을 촉진하는 계층적 제약 조건을 활용합니다. 그 결과, 트래커 기반 참조에 비해 신체-점 오류를 가장 강력한 기준 대비 71.9% 감소시켰으며, 손 안정성과 접촉 추정에서도 개선을 보였습니다.

추가적으로 연구진은 시뮬레이션 환경에서 전신 제어를 동반한 휴머노이드 리타게팅과 함께 멀티모달 생성 및 조건화에 대한 예비 연구를 진행하고 있습니다.

루브릭 기반 보상 모델(RM)은 명시적인 기준에 따라 응답을 평가하지만, 기존 방법들은 관찰된 응답 후보에서 기준을 도출하여 응답에 의한 편향을 발생시키고 일반화 가능성을 제한합니다. 또한, 평가자는 읽기만으로 기계적 제약 조건을 처리하는 데 어려움을 겪으며, 흔히 사용되는 쌍별 평가자는 상대적 선호도만을 제공하여 정책 최적화를 위한 직접적인 사용을 복잡하게 만듭니다.

이에 연구진은 지시사항만을 바탕으로 규칙과 등급 원칙을 도출하고 도구 증강 평가를 통해 응답을 독립적으로 평가하는 점점별 루브릭 RM인 ReVeR을 제안합니다. ReVeR과 관련 구성 요소들은 레이블 없는 증류(label-blind distillation)를 통해 훈련되어 루브릭 추론 및 평가 궤적의 대규모 데이터셋인 ReVeR-Traces를 생성했습니다.

실험 결과, ReVeR은 평균 선호도 정확도에서 쌍별 루브릭 RM을 능가했으며, 특히 지시사항 준수, 테스트 시간 스케일링, 다운스트림 정책 최적화에서 그 우수성이 명확하게 나타났습니다. 하지만 추가 분석 결과, 생성자 강화 학습(generator RL)은 선호도 정확도를 향상시키면서 루브릭 충실도(rubric fidelity)를 감소시킨다는 점이 밝혀졌습니다.

더 나아가, 높은 선호도 정확도가 반드시 더 나은 다운스트림 정책으로 이어지지 않는다는 점도 발견되었습니다. 이는 루브릭 충실도, 선호도 정확도, 그리고 다운스트림 유용성이 서로 구별되는 속성임을 시사하며 향후 RM 연구에 중요한 통찰을 제공합니다.

자율 연구 에이전트는 제한된 예산 내에서 증거를 획득하고 추론해야 하지만, 관련 출처들이 검토되지 않거나 사용되지 않을 수 있어 검색 범위와 연구에 필요한 증거 사이에 격차가 발생합니다. 이러한 문제를 해결하기 위해 JevGPT라는 이중 시스템 아키텍처가 제안되었는데, 이는 빠른 증거 처리와 숙고적인 연구 계획을 결합합니다.

JevGPT는 시스템 2가 증거 목표를 설정하고 결과를 통합하는 역할을 하며, 시스템 1은 지원을 찾고 관련성을 평가하며 추가 검토를 안내하는 역할을 수행합니다. 이 두 시스템은 독립적으로 병렬로 작동하며, 선택된 원본 구절들이 다음 연구 단계에 필요한 정보를 제공합니다.

실험 결과, JevGPT는 고정된 코퍼스 질문 응답 및 문서 순위 지정 작업에서 동등하게 효과적인 다른 연구 에이전트들보다 더 빠르고 낮은 비용으로 선도적인 성능을 달성했습니다. 또한 증거 분석을 통해 연구 루프에서 더 광범위한 출처 검사와 지원 문서의 더 큰 커버리지가 이루어졌음을 확인했으며, 이는 효율적인 증거 처리가 더 유능한 자율 연구를 위한 경로임을 시사합니다.

추론 기반의 비전-언어-행동(VLA) 모델은 성능이 향상되었지만, 모든 행동이 추론 텍스트의 자기회귀 디코딩을 기다려야 하므로 지연 시간이 발생한다는 문제가 있었습니다. 이 연구는 추론 과정 없이도 행동을 수행할 수 있음을 보여주며, 추론 감독만으로도 백본 표현이 개선된다는 점을 입증합니다.

연구진은 현재 생성된 추론에 대해 행동 전문가가 전혀 주의를 기울이지 않도록 설계된 추론 VLA 모델인 TacitVLA를 제안합니다. 이는 장기 목표 작업에서 추론 텍스트가 에피소드 메모리 역할을 할 때, 행동을 하기 전에 추론을 생성하는 대신 행동 실행 중에 각 항목을 생성할 수 있게 합니다.

이 모델은 조작, 자율 주행, 메모리 및 비메모리 작업에 걸친 네 가지 벤치마크, 즉 RoboMME, RMBench, LIBERO, PhysicalAI-AV에서 평가되었습니다. TacitVLA는 명시적인 추론 모델과 비교하여 최대 3.4배 낮은 지연 시간을 달성했으며, 추론 없이 훈련된 동일한 아키텍처의 지연 시간과 최대 17.1%의 성공률을 일치시켰습니다.

절대적인 성능 면에서 TacitVLA는 RoboMME 카운팅 스위트(82.7% 대 66.8%)와 RMBench(77.5% 대 56.5%)에서 기존 최고 결과를 능가했으며, LIBERO-Plus에서는 72.9%를, PhysicalAI-AV 폐쇄 루프 주행 챌린지의 공개 분할에서는 52.5%의 장면 점수를 기록했습니다.

물리적 지능(Physical Intelligence)을 위한 API 베타를 출시하며 최신 로봇 기반 파운데이션 모델을 모든 로봇에 적용할 수 있는 기회를 제공합니다. 개발자들은 복잡한 하드웨어와 데이터 파이프라인 없이도 데이터를 업로드하고 컴퓨팅 인프라를 활용하여 모델을 미세 조정하고 추론을 실행할 수 있는 간편한 API를 이용할 수 있습니다. 이는 로봇을 배포하는 데 필요한 지능적인 모델을 구축하는 데 필요한 데이터와 노력을 크게 줄여줍니다.

이 API는 $\pi_0$ 및 $\pi_{0.5}$와 같은 최신 모델을 활용하여 새로운 작업이나 환경에 빠르게 적응할 수 있는 기반을 제공합니다. 실제 협업 사례를 통해 개발자들은 데이터 수집, 모델 훈련, 테스트, 실패 분석을 반복하는 반복적인 개선 루프를 직접 실행할 수 있으며, 이를 통해 자율성을 독립적으로 향상시킬 수 있음을 입증했습니다.

이러한 접근 방식은 로봇 공학 생태계의 성장을 가속화하고 물리적 지능에 대한 이해를 발전시키는 데 기여합니다. 현재 모델의 한계와 잠재력을 실제 환경에서 이해함으로써 차세대 모델을 더욱 광범위하게 적용하고 진정한 일반 물리적 지능에 도달하는 데 중요한 진전을 이룰 수 있습니다.

베타 사용자들은 다양한 산업과 하드웨어에서 모델을 테스트하고 자율성을 개선하는 경험을 통해 향후 모델 업데이트와 기능 개발에 직접적인 피드백을 제공하게 됩니다. 현재 베타 참여를 원하는 개발자들은 API를 통해 원하는 것을 구축할 수 있음을 확인하고, 모델 개발 및 인프라 구축에 참여할 기회를 얻을 수 있습니다.

Anthropic은 일일 병합 횟수가 열 배 이상 증가하면서 소스 제어 시스템이 가장 큰 개발 병목 현상이 되었다고 보고, 5개월 만에 자체 버전 관리 시스템인 Scion으로 마이그레이션하는 작업을 진행했습니다. 이는 Claude가 연구 루프를 자율적으로 반복하고 복잡한 프로그램을 최적화하는 속도와 규모가 급증하면서, 이제 개발 병목은 인간 규모에 맞춰 구축된 소스 제어, 빌드, CI 인프라로 옮겨졌기 때문입니다.

Anthropic은 2026년 9월 기준으로 하루에 30,000건 이상의 코드 변경을 병합했으며, 코드 병합에 대한 잠재적 수요는 사실상 무한하다고 분석했습니다. 이러한 성장을 지원하기 위해 그들은 Scion 외에도 코드 검색, 코드 리뷰 표면인 Antique, 리치 소스 제어 IAM 시스템 등 다양한 도구를 구축했습니다.

기존의 Git 시스템은 분산 환경과 오프라인 작업을 전제로 설계되어 대규모 모노레포 환경에서는 한계가 드러났습니다. 예를 들어, 모노레포의 메인 브랜치 기록은 약 100GB에 달하며, CI를 위한 코드 체크아웃만으로 하루에 2,500만 건의 작업이 발생하여 하루에 600PB에 달하는 Git 트래픽이 발생했습니다. Anthropic은 이러한 문제를 해결하기 위해 클라이언트(에이전트 및 작업)가 항상 온라인 상태라는 전제를 바탕으로 시스템을 재설계했습니다.

Scion의 핵심 원칙은 클라이언트가 항상 온라인 상태라는 가정과 클라이언트-서버 비대칭 구조입니다. Git이 모든 클라이언트가 서버 역할을 할 수 있다고 가정하는 것과 달리, Scion은 서버가 파일 기록 및 블레임에 대한 질문에 답하고 병합을 수행하며, 클라이언트는 필요한 데이터만 가져와 로컬 캐시를 유지하도록 설계되었습니다. 이는 에이전트 기반 소프트웨어 개발 환경에서 소스 제어 시스템이 어떻게 작동해야 하는지에 대한 근본적으로 다른 접근 방식을 제시합니다.

80세 기증자의 혈액 세포가 분자 나이가 20세 미만의 줄기세포로 변했다는 연구 결과가 발표되었습니다. 이 연구는 나이가 많은 기증자의 혈액 세포가 젊고 건강한 줄기세포의 특성을 가질 수 있음을 시사하며 세포 재생 및 노화 연구에 중요한 단서를 제공합니다.

이러한 발견은 세포의 노화와 재생에 대한 기존의 이해를 확장하는 데 의미가 있습니다. 분자 나이는 실제 생물학적 나이와는 별개로 세포의 손상 정도를 측정하는 지표로, 혈액 세포에서 이러한 변화가 관찰되었다는 것은 세포의 생물학적 잠재력이 나이와 무관하게 유지될 수 있음을 보여줍니다.

따라서 이 연구는 노화 방지 및 재생 의학 분야에서 세포의 잠재력을 활용하는 새로운 접근법을 모색하는 데 중요한 기초 자료가 될 수 있습니다. 다만, 이 결과가 실제 인체에 적용되기 위해서는 추가적인 임상 연구와 엄격한 검증이 필요하며, 분자 나이와 실제 생물학적 나이 간의 관계에 대한 더 깊은 이해가 요구됩니다.

AI는 도구가 아니라는 주장은 도구 사용과 LLM의 작동 방식 사이의 근본적인 차이를 강조합니다. 도구는 사용자가 직접 통제하고 다루는 반면, 대규모 언어 모델(LLM)은 요청을 받은 후 직접적인 인간의 통제 없이 자동화되어 작동한다는 구분이 핵심입니다.

숙련은 지속적인 기술과 에너지 투입, 그리고 감각적 피드백을 통해 쌓이는 과정입니다. 이는 사용자가 도구를 숙련시키기 위해 능동적으로 개입하고 피드백을 반영해야 함을 의미합니다.

따라서 LLM을 단순히 도구로만 보는 것이 아니라, 자동화된 시스템으로서의 작동 방식을 이해하는 것이 중요합니다. 개발자들은 LLM을 활용할 때 이러한 자동화의 특성과 인간의 통제 사이의 관계를 고려하여 시스템 설계에 접근해야 합니다.

AI 에이전트가 스스로 읽고 쓸 수 있는 공유 가능하고 검증 가능한 수정 데이터베이스에 대한 내용입니다. 이 데이터베이스는 AI 에이전트가 오류를 수정하고 지식을 업데이트하는 데 사용되는 시스템을 설명합니다.

이 시스템은 AI 에이전트가 공유된 수정 데이터베이스를 읽고 직접 수정 사항을 작성할 수 있도록 설계되었습니다. 이는 AI가 특정 문제에 대한 해결책을 학습하고 적용하는 과정을 자동화하는 데 중점을 둡니다.

이러한 공유 데이터베이스는 AI 시스템 내에서 오류 수정의 신뢰성과 검증 가능성을 높이는 데 중요한 역할을 합니다. 에이전트들이 상호작용하며 오류를 해결하고 지식을 공유함으로써 시스템의 안정성과 정확성을 향상시킬 수 있습니다.

Blokkily는 패턴 기반의 실험적인 DAW로, 단일 이벤트 모델을 통해 트래커, 피아노 롤, 스텝 그리드 세 가지 편집기를 동기화하여 다중 트랙 곡을 구현합니다. 이 시스템은 프레임워크에 구애받지 않는 음악 모델과 실시간 플러그인 경계를 특징으로 하며, 핵심은 CLAP이라는 필수 네이티브 플러그인 형식을 사용한다는 점입니다.

Blokkily의 핵심은 노트, 의미론적 코드, 역행, 마이크로 타이밍, 확률, 래치, 루프 조건, 파라미터 잠금 등을 포괄하는 모델을 통해 음악적 데이터를 처리하는 것입니다. 특히 CLAP 인스턴스 어댑터는 샘플 정확도의 노트/파라미터 이벤트를 구현하며, VST3 어댑터는 샘플 정확도의 플러그인 자동화도 지원합니다.

플러그인 통합 과정에서 파라미터 잠금은 스케줄러에 의해 샘플 정확도의 파라미터 이벤트로 컴파일되어 플러그인 어댑터에 의해 적용됩니다. 또한 FluidSynth 어댑터는 SF2/SF3 파일을 로드하고 스테레오 오디오를 렌더링하며 프로젝트 상태를 저장합니다.

이러한 구조는 샘플 정확도를 유지하면서 플러그인 간의 동기화와 상태 스트림을 관리하는 데 중점을 둡니다. 결과적으로 Blokkily는 실시간으로 작동하는 플러그인 환경에서 샘플 단위의 정밀한 제어와 동기화를 가능하게 하는 데 초점을 맞추고 있습니다.