읽을 가치가 있는 기사만, 짧고 또렷하게.

실제 물리 기반 애니메이션을 다양한 3D 형태와 공간 이산화에 걸쳐 일반화하는 것은 여전히 어려운 과제입니다. 이에 본 논문에서는 정적 기하학으로부터 연속적인 신경 피부장(neural skinning fields)을 학습하여 압축된 변형 부분공간(deformation subspaces)을 구성하는 물리 정보 기반 프레임워크인 PhysSkin++를 소개합니다.

PhysSkin++는 개별 객체 네트워크 학습 없이도 형태에 따라 달라지는 변형 부분공간을 예측하는 신경 피부장 자동인코더(Neural Skinning Fields Autoencoder)를 제안합니다. 또한 시뮬레이션 궤적 없이 이 부분공간을 학습하기 위해 피부장 정규화와 충돌 인식 기울기 보정(conflict-aware gradient correction)을 결합한 물리 정보 기반 자기 지도 학습 전략을 개발하여 물리적 및 직교성 제약 조건 하에서 관절 최적화를 안정화시킵니다.

학습된 표현은 사용자 제어 및 접촉 상호작용을 통한 효율적인 축소 동역학(reduced dynamics)을 지원하며, 메시, 포인트 클라우드, 3D 가우시안에 직접 애니메이션을 바인딩할 수 있습니다. 또한, 정해진 리깅 애니메이션을 위해 자기 지도 보완 목표(self-supervised complementarity objective)를 도입하여 런타임에 보완성 제약을 강제하지 않고 보완적인 탄성 반응을 학습합니다.

실험 결과는 학습된 피부장의 형태 간 일반화, 실시간 축소 시뮬레이션, 그리고 제어 가능하고 충돌 인식적이며 리깅 보완적인 애니메이션 적용 가능성을 입증합니다.

GUI 에이전트는 스크린샷, 오디오, 비디오, 상호작용 기록, 장치 상태 등 스트리밍되는 옴니모달 관찰을 처리하지만, 모든 단계에서 이 전체 컨텍스트를 균일하게 노출하는 것은 관련성이 일시적이고 희소하다는 점을 무시합니다. 이로 인해 한 행동을 결정하는 신호가 다음 단계에서는 잡음이 될 수 있으며, 실행된 행동이 컨텍스트에 피드백되어 오류가 누적되어 순차적 방해(Sequential Distraction)를 유발하고 에이전트를 비가역적인 궤적 표류(trajectory drift)로 몰아넣습니다.

이러한 문제를 해결하기 위해 연구진은 단계 적응적이고 행동에 충분하며 비침해적인 표현을 요구사항으로 설정하고 이를 포커스 인지(Focused Perception)로 정의했습니다. 이를 구현하기 위해 경량 어댑터인 FocusGUI를 제안했는데, 이는 단계별 결정 참조에 따라 멀티모달 채널을 동적으로 우선순위화하는 방식입니다. FocusGUI는 모든 입력을 균일하게 처리하는 대신, 가장 관련성 높은 증거를 압축된 잠재 공간으로 압축하여 고정된 디코더의 임베딩에 미묘하게 주입함으로써 모델의 주의를 유도합니다.

FocusGUI는 모달리티 관련 레이블이나 백본 미세 조정 없이 오직 행동 감독(action supervision)만으로 학습됩니다. 네 가지 옴니모달 백본에서 테스트한 결과, 이 방법은 고정된 백본 대비 전체 유형 일치(Type Match)를 평균 33.2% 향상시키고 정확 일치(Exact Match)를 3.0배 향상시켰습니다. 또한 가장 강력한 기존 향상 방법 대비 유형 일치(Type Match)를 30.1% 높이는 성과를 보였습니다.

비디오 얼굴 스와핑 기술은 참조된 정체성을 타겟 비디오로 옮기면서 다른 속성과 움직임을 보존하는 것을 목표로 합니다. 그러나 최근 참조 기반 흐름 기반 방법론의 발전에도 불구하고, 긴 비디오 스트림에서 충실한 정체성 전송, 높은 충실도, 그리고 실시간 생성을 동시에 달성하는 것은 여전히 어려운 과제로 남아 있습니다.

이러한 문제를 해결하기 위해 연구진은 참조 기반 비디오 얼굴 스와핑의 작업별 구조를 재고했습니다. 얼굴 스와핑은 주로 정체성만 변경하고 시각적 콘텐츠는 보존하지만, 흐름 매칭 감독은 이러한 변화에 둔감하다는 점을 지적했습니다. 이에 따라 연구진은 노이즈 수준에 따라 명시적인 정체성 감독과 잠재적 재구성을 균형 잡는 Joint Rec-ID Loss를 개발했습니다. 또한, 타겟 비디오가 이미 편집되지 않은 속성과 시간적 역학을 제공한다는 점을 활용하여 Face-RoI Generation과 Short-Context Rollout Training을 통해 더 적은 공간 토큰과 짧은 시간적 컨텍스트로 생성을 가능하게 했습니다.

이러한 설계들을 통합하여 실시간 스트리밍 비디오 얼굴 스와핑을 위한 참조 기반 흐름 매칭 프레임워크인 StreamingSwap을 제안했습니다. 연구진은 또한 1,000시간 분량의 영화 촬영 데이터와 200개의 짧은 및 200개의 긴 비디오로 구성된 HumanFaceVid 데이터셋을 도입했습니다. 실험 결과, 이 방법은 단일 NVIDIA RTX 4090 GPU에서 20 FPS로 경쟁력 있는 정체성 전송과 시각적 품질을 달성했으며, 최대 10분 길이의 비디오에 걸쳐 안정적인 생성이 가능했습니다.

고품질 확산 모델을 훈련하는 것은 계산 비용이 많이 들고 추론 시 가이던스를 추가하면 샘플링 비용이 더 발생합니다. 이 논문은 이러한 문제를 해결하기 위해 Swift라는 간단하면서도 효과적인 자기 지도 훈련 방법을 소개합니다. Swift는 고정된 약한 노이즈 제거기(weak denoiser)를 사용하여 추론 오버헤드 없이 더 강력한 모델을 개선합니다.

Swift는 각 노이즈 입력에 대해 약한 노이즈 제거기의 예측으로부터 깨끗한 회귀 목표(clean regression target)를 외삽하여 부족하게 학습된 구성 요소를 증폭시킵니다. 이 약한 가이드는 메인 모델 훈련 중 역전파가 필요 없으며 훈련 후 버려지므로 효율적입니다. 결과적으로 생성된 모델은 원래의 샘플러를 유지하며 레이블 드롭아웃이나 조건부 분기 없이 조건부 및 무조건부 생성을 모두 지원합니다.

이 메커니즘은 RKHS 내의 유한 시간 모집단 기울기 흐름에 대한 스펙트럼 분석을 통해 설명됩니다. 실험 결과, Swift는 CIFAR-10과 ImageNet-256에서 개선을 보였습니다. 특히 ImageNet-256 구성에서 Swift는 가이드 준비 및 훈련 오버헤드를 포함하여 전체 훈련 컴퓨팅의 절반 수준으로 기준 모델의 최고 FID를 능가했습니다. RAEv2에서는 추론 시 가이던스가 없을 때 FID 1.15, 가이던스를 사용할 때 FID 0.99를 달성했습니다.

이러한 결과는 목표 외삽(target extrapolation)이 효율적인 단일 모델 추론을 통해 약한 모델에서 강한 모델로 훈련하는 효과적인 접근 방식임을 입증합니다.

입원 환자의 정확한 위험 예측은 시간에 따라 불규칙하게 축적되는 이질적인 임상 증거를 모델링하는 데 달려 있습니다. 이는 입원 중 사망률, 재원 기간 연장, 재입원 등 각기 다른 작업별 관찰 창을 가지는 복잡한 문제입니다. 기존의 멀티모달 접근 방식은 구조화된 건강 기록 데이터, 흉부 X-레이, 임상 텍스트를 결합하지만, 입원 기간 동안의 시간적 궤적에 대한 관심이 부족했습니다.

이에 본 연구는 다중 임상 사건을 일별 궤적으로 조직하는 일일 규모의 프레임워크인 TRACE(Trajectory modeling of multimodal Clinical Events)를 제안합니다. TRACE는 EHR 데이터, 흉부 X-레이, 영상 보고서, 퇴원 요약에서 추출된 데이터를 기반으로 일별 불변의 전역 맥락과 일별 특정 지역 이벤트를 분리합니다. 이 궤적은 시간적 주의(temporal attention)를 사용하여 표현되며, 사용 불가능한 양식은 토큰을 생성하지 않도록 허용합니다.

또한, TRACE는 이질적인 질병 분포 하에서 입원을 더욱 체계적으로 정리하기 위해 표현형 기반 대조 학습(phenotype-guided contrastive objective) 목표를 추가했습니다. MIMIC-IV, eICU, MIMIC-III 코호트에서 약 18만 건의 입원 데이터를 평가한 결과, TRACE는 사망률, 재원 기간, 재입원 예측에서 모든 아홉 가지 데이터셋-작업 설정에 걸쳐 가장 높은 AUROC와 여덟 가지 설정에서 가장 높은 ACC를 달성하며 기존 방법들을 능가했습니다.

추가적인 분석을 통해 주의 마스크와 대조 학습이 유효함을 입증했으며, 궤적 수준의 속성 할당을 통해 위험과 관련된 병원 일과 양식을 구체적으로 위치시킬 수 있습니다.

TCR-pMHC 결합 예측에 있어 예측된 도킹 복합체에서 발생하는 배치 오류를 제거하는 구조 기반 프레임워크인 EMBER를 제안합니다. 기존의 구조 기반 예측 모델들은 수용체와 항원의 공융합 복합체 구조를 활용하여 접촉 표면에서 결합을 해석하는데, 이 과정에서 구조 예측 도구가 도입한 모든 편차가 결과에 반영되는 문제가 있었습니다.

EMBER는 이러한 문제를 해결하기 위해 TCR과 pMHC를 독립적으로 접는 방식으로 접근하며, 이를 SE(3)-불변 잔기 그래프로 인코딩하고 공유 좌표계를 구성하지 않고 학습된 표현을 비교합니다. 따라서 상대적 자세(relative pose)가 모델의 입력이 아니므로 배치 오류가 예측에 전파되는 것을 방지합니다.

이 방법론은 계산 효율성 측면에서도 이점을 제공하는데, 복합체 기반 예측 모델이 O(NM) 연산을 필요로 하는 데 반해 EMBER는 O(N+M) 모노머 접힘을 전처리합니다. 실험 결과, 여섯 가지 재학습된 기준선에 대해 에피토프 분리 평가를 수행했을 때 EMBER는 네 가지 접힘 도구 모두에서 모든 지표에서 가장 우수한 성능을 보였습니다. 특히 micro-AUROC에서는 0.9%에서 14.4%, micro-AUPRC에서는 18.5%에서 25.3%, MCC에서는 10.6%에서 24.1%의 성능 향상을 달성했습니다. 또한 EMBER의 순위는 접힘 도구 전반에 걸쳐 최대 85% 더 안정적입니다.

Gamow Labs는 실험 처리량을 높이기 위해 에이전트를 사용하여 로봇 실험실을 운영하는 방법을 연구하며 LabRobotBench V0.1을 발표했습니다. 이 벤치마크는 최첨단 AI 모델이 물리적 공간과 복잡한 생물학적 워크플로우를 추론하여 습식 실험을 문제 해결하고 수행하는 능력을 평가합니다. 에이전트는 장비 오류 발생 시 실험을 재개하고 문제를 진단하여 작업을 안전하게 완료할 수 있으며, 이를 통해 과학자들이 실험 처리량을 높이고 다운타임을 줄일 수 있습니다.

LabRobotBench는 세포 분석 복구, 콜드 스톡 및 보존, 용량-반응 복구와 같은 다양한 습식 실험 복구 능력을 테스트합니다. 특히 에이전트가 여러 작업을 동시에 처리하고 시간 제약 조건을 관리해야 하는 실제 시나리오를 통해 AI의 추론 능력을 측정합니다. 예를 들어, 한 실험이 중단되었을 때 에이전트는 여러 샘플의 처리와 보존 시간 제한을 동시에 고려하여 우선순위를 결정해야 합니다.

실제 사례에서 에이전트는 실험이 완료될 시간과 시료가 보존되어야 하는 시간 사이의 복잡한 균형을 찾아야 합니다. 일부 모델은 실험 완료에 중점을 두는 반면, 다른 모델은 시료 보존 시간을 우선시하여 결과적으로 실험이 기한을 넘기거나 시료가 너무 오래 보관되는 결과를 초래했습니다. 이는 습식 실험에서 시간적 요구 사항과 물질 보존의 중요성을 이해하는 데 있어 AI 에이전트의 계획 및 실행 능력이 얼마나 중요한지를 보여줍니다.

이러한 결과는 AI가 단순한 계산을 넘어 물리적 제약 조건과 생물학적 맥락을 이해하고 복잡한 실험 환경에서 효율적으로 작동하는 데 필수적임을 시사합니다. 이는 향후 실험 생물학 분야에서 로봇 자동화 및 실험 능력 확장을 목표로 하는 개발자들에게 중요한 기준을 제공합니다.

긴 컨텍스트 입력에 대한 언어 모델의 처리 비용을 줄이기 위해 TokenGate라는 새로운 컴포넌트가 소개되었습니다. 이 컴포넌트는 기존 모델에 추가하여 긴 컨텍스트 입력에 대해 학습 가능한 토큰 가지치기(token pruning)를 가능하게 함으로써 빠르고 메모리 효율적인 프리필(prefill) 처리를 목표로 합니다.

TokenGate는 토큰 가지치기를 위한 미분 불가능한 top-K 연산 문제를 해결하기 위해 Mixture-of-Experts에서 영감을 받은 토큰 게이티드 어텐션(token-gated attention) 메커니즘을 도입했습니다. 이 메커니즘은 토큰 중요도 점수를 사용하여 어텐션 로짓을 재가중함으로써 학습 가능한 엔드-투-엔드 학습을 가능하게 합니다.

다양한 작업에서 TokenGate는 정확도 저하 없이 프리필 과정에서 1.4배에서 11.3배 더 빠른 첫 토큰 시간(TTFT)과 1.5배에서 3.4배 더 낮은 최대 메모리를 달성했습니다. 이는 기존의 토큰 가지치기 방법들보다 최대 6.4배 빠른 프리필 속도와 2배 낮은 최대 메모리를 제공합니다.

TokenGate는 Qwen3과 같은 표준 트랜스포머 모델과 Qwen3.5와 같은 하이브리드 어텐션 모델을 간단하고 가벼운 적응을 통해 네이티브하게 확장할 수 있습니다. 개발자들은 이 코드를 통해 메모리 효율성과 속도를 개선한 LLM을 구현할 수 있습니다.

장면 수준의 3차원 생성은 오랫동안 2차원 멀티뷰 또는 비디오 확산 모델에 의해 주도되어 왔습니다. 이러한 2차원 기반 접근 방식은 2차원 잠재 공간에서 장면을 생성하기 때문에 두 가지 근본적인 문제를 안고 있습니다. 첫째는 3차원 장면을 2차원 시점으로 표현할 때 상당한 표현 중복이 발생한다는 점이며, 둘째는 2차원에 뿌리를 둔 잠재 공간이 생성된 장면의 공간적 일관성을 본질적으로 제한한다는 점입니다.

본 논문은 강력한 2차원 기반 파운데이션 모델(예: DINOv2, SigLIP2, DA3)에서 파생된 고차원 암시적 3차원 잠재 공간 내에서 3차원 장면 생성을 직접 수행할 것을 제안합니다. 또한 확산 트랜스포머를 다루어 3차원 잠재 공간에서 직접 확산 모델링을 수행함으로써 3차원 기반 장면 생성을 가능하게 합니다.

실험 결과, 제안된 방법은 효율성과 공간적 일관성 측면에서 2차원 기반 접근 방식보다 우수함을 입증했습니다. 연구진은 3차원 잠재 표현이 3차원 장면 생성 성능에 미치는 영향을 종합적으로 분석했으며, 표현과 모델 용량에 대한 방법의 확장 가능성도 검증했습니다. 이는 3차원 장면 생성의 효율성과 일관성을 개선하고자 하는 개발자들에게 중요한 통찰을 제공합니다.

로봇 가치 모델은 시각적 관찰과 지침을 통해 작업 실행을 평가하고 정책 학습 및 실행 모니터링을 위한 피드백을 제공합니다. 하지만 기존의 평가들은 실행 이해의 일부 측면만을 다루어 가치 피드백의 신뢰성을 충분히 검증하지 못하고 있습니다. 이에 연구진은 로봇 가치 모델을 통합적으로 평가하기 위한 세밀한 시뮬레이션 및 실제 환경 벤치마크인 RoboValue를 소개합니다.

RoboValue는 작업 상태 이해, 시간 경과 모니터링, 실패 및 복구 추론, 가치 일관성이라는 네 가지 상호 보완적인 능력 차원을 공유 인터페이스를 통해 평가합니다. 이 프레임워크는 진단 궤적과 지침 변화를 통해 가치 판단이 실행 전반의 작업 요구사항과 변화를 정확하게 반영하는지 테스트합니다. 이 데이터셋은 15개의 시뮬레이션 및 20개의 실제 조작 작업을 포함하며, 훈련을 위한 전문가 시연과 세밀한 평가를 위한 주석이 달린 궤적을 제공합니다.

연구 결과는 모델이 강력한 결과 및 진행도 점수를 가지고 있음에도 불구하고 세밀한 지침 기반, 역사 의존적 진행 추적, 복구 평가에서 오류가 발생할 수 있음을 보여줍니다. 또한 동일한 의미적 하위 작업이 유효한 실행 순서 전반에 걸쳐 상당히 다른 가치 이득을 받을 수 있다는 점도 발견되었습니다.

이러한 발견은 가치 감독을 위한 구체적인 목표를 제시하며, 데이터셋과 공개 순위표는 피드백 신뢰성에 대한 지속적인 평가를 지원합니다. RoboValue 벤치마크는 https://robovalue-benchmark.github.io/에서 이용 가능합니다.

게임 월드 모델은 실시간 상호작용 생성에 빠르게 발전했지만, 현재의 행동 제어 방식은 주로 특징 조건화(feature conditioning)로 구현되어 각 행동이 시각적 세계를 어떻게 움직여야 하는지를 모델이 학습하도록 맡기고 있습니다. 이러한 방식은 탑다운이나 아이소메트릭 게임과 같은 광범위한 평면 카메라 월드에 적합하지 않으며, 플레이어 움직임이 기하학적으로 잘 정의된 평면 카메라 변위를 유발하는 이러한 환경에서는 각 행동의 효과를 월드 좌표에 직접 표현하는 것이 공간적으로 일관된 제어의 핵심입니다.

이를 위해 연구진은 행동 기반 카메라 변위를 월드 좌표 회전 위치로 변환하는 파라미터 없는 행동 인터페이스인 ActionRoPE를 도입했습니다. ActionRoPE를 사용함으로써 동일한 월드 위치에 해당하는 토큰들이 시간 경과에 따라 동일한 위치 주소를 유지하게 되어 공간적 일관성이 확보됩니다. 또한 이 월드 좌표는 생성 과정에서 공간적 비대칭성을 드러내며, 초기 관찰에 의해 덮인 영역은 기하학적으로 알려져 있고 새로 드러난 영역은 합성되어야 하는 '알려진-새로운(known-new)' 구조를 형성합니다.

연구진은 이러한 알려진-새로운 구조에 따라 토큰별 디노이징 스케줄을 할당하는 좌표 조건화 노이즈 스케줄링(Coordinate-Conditioned Noise Scheduling, CNS)을 제안했습니다. CNS는 관찰된 영역이 더 일찍 안정화되도록 허용하면서 새로운 콘텐츠를 이 영역을 참조하여 생성할 수 있게 합니다. 이 접근 방식은 네 가지 대표적인 행동 조건화 메커니즘과 비교했을 때, 명령된 움직임을 더 충실하게 따르며 가장 강력한 기준선 대비 재방문 드리프트(revisit drift)를 66% 감소시킵니다.

ActionRoPE 인터페이스는 13억에서 330억 파라미터에 이르는 비디오 백본에 걸쳐, 심지어 분포 외(out-of-distribution) 장면까지도 적용될 수 있습니다. 이는 ActionRoPE가 다양한 규모의 모델과 복잡한 환경에서 공간적으로 일관된 제어를 가능하게 하는 강력한 기반을 제공함을 의미합니다.

기반 모델이 정보를 지속적으로 축적하고 활용할 수 있도록 메모리를 모델 연산의 내재적 능력으로 만드는 메모리 기반 진화에 대한 새로운 아키텍처인 MemT-1.0이 소개되었습니다. 이 모델은 메모리를 모델 계산의 일부로 내재화하여 메모리 기반 모델의 새로운 패러다임을 제시합니다.

MemT-1.0은 Metis를 기반으로 하며, 각 턴 내에서 안정적인 토큰 수준 메모리 업데이트 메커니즘을 갖춘 Gated DeltaNet-2와 메모리 용량을 확장하기 위한 Mixture-of-Storage를 활용합니다. 개발팀은 34B 토큰의 훈련 데이터와 효율적인 인프라를 사용하여 지속적인 사전 훈련 및 사후 훈련으로 구성된 2단계 훈련 파이프라인을 개발했습니다.

이러한 접근 방식을 통해 출시된 MemT-1.0-Nano와 MemT-1.0-Flash 모델군은 메모리와 일반 능력을 종합적으로 평가받았습니다. 결과적으로 이 모델들은 평균적으로 파라메트릭 메모리 기준을 능가했으며 검색 증강 방법과 경쟁하면서도 일반적인 능력을 대부분 보존했습니다.

특히 128K 토큰의 기록 길이에서 MemT-1.0-Nano는 전체 컨텍스트 KV 캐시에 비해 영구 저장 공간을 66배 절감하고 엔드-투-엔드 추론 속도를 약 1.86배 향상시켰습니다. 또한 검색된 절차적 경험을 내재화함으로써 에이전트 작업에서의 성공률을 높여 메모리 기반 진화에 실질적인 발걸음을 내디뎠습니다.

KronLSTM은 크로네커 델타 규칙에 기반한 선형 어텐션 아키텍처로, 연관 행렬 메모리를 위한 새로운 업데이트 규칙을 제안합니다. 이 모델은 xLSTM 계열에 메모리 수정 메커니즘을 확장하여 특정 연관성을 수정하는 동시에 행렬 공간의 단일 방향으로만 메모리를 수정함으로써 기존 델타 규칙 업데이트보다 간섭을 최소화합니다.

이러한 최소 침습적인 메모리 수정 덕분에 KronLSTM은 장문 컨텍스트 언어 모델링에 특히 적합합니다. 메모리 역학은 정상 상태 분포로 수렴하는 마르코프 체인으로 수학적으로 설명되며, 메모리 행렬의 예상 노름은 전체 입력 시퀀스에 걸쳐 균일하게 유한하게 유지됩니다. 따라서 KronLSTM은 메모리 상태를 안정화하기 위해 추가적인 정규화나 안정화 메커니즘을 요구하지 않고도 안정적인 메모리 역학을 보장합니다.

실험 결과 KronLSTM은 기존의 선형 어텐션 아키텍처, 특히 (Gated) DeltaNet 계열 모델과 경쟁하거나 능가하는 성능을 보였으며, 장문 컨텍스트 벤치마크에서 특히 강력한 성능을 나타냈습니다. 이 연구는 크로네커 델타 규칙이 재귀적 선형 어텐션 아키텍처에서 안정적인 연관 메모리를 위한 효과적이고 분석 가능한 기반임을 입증합니다.

Matryoshka Representation Learning(MRL)은 중첩된 접두사(nested prefixes)를 공동 최적화하여 유연한 표현 크기를 지원하도록 설계되었습니다. 그러나 이 설계는 선행 부분이 적절한 압축 인코딩을 제공하도록 보장하는 명시적인 제약 조건이 부족하다는 한계가 있습니다.

이러한 문제를 해결하기 위해 SpecMRL이 제안되었는데, 이는 더 효과적인 접두사 판독을 가능하게 하기 위해 특징 공간을 재구성합니다. SpecMRL은 MRL에 파라미터에서 파생된 스펙트럼 기저(spectral basis)를 특징 중요도에 따라 조직하여 확장합니다. SpecMRL은 학습된 스펙트럼 공간에서 접두사 판독을 수행하며 표준 MRL 방식을 따릅니다.

MTEB 실험 결과, SpecMRL은 모든 평가된 축소 차원에서 MRL보다 우수한 성능을 보였으며, 특히 더 공격적인 압축 하에서 더 큰 이득을 얻었습니다. 이는 학습된 스펙트럼 기저가 정보가 풍부한 방향을 더 잘 우선시하여 표현 압축을 더욱 효과적으로 가능하게 함을 시사합니다.

특히 SpecMRL은 임베딩 차원의 절반만을 사용하여 전체 차원 MRL보다 우수한 성능을 달성함으로써 MRL의 성능 경계를 확장했습니다. 이는 표현 학습 모델에서 더 효율적인 압축과 표현 능력을 달성하는 데 중요한 진전을 의미합니다.

뇌 인코딩 모델을 위한 파라미터 효율적 미세 조정(PEFT) 기법이 대규모 사전 훈련된 백본을 효율적으로 적응시키는 강력한 패러다임임을 입증했습니다. 이 연구는 비용이 많이 들고 제한적인 신경 데이터를 사용하여 대규모 모델을 처음부터 훈련하거나 완전히 미세 조정하는 것이 어렵다는 문제를 해결하고자 합니다. 연구진은 PEFT를 사용하여 소수의 학습 가능한 파라미터만으로 매우 큰 사전 훈련된 백본을 뇌 인코딩에 효과적으로 적응시킬 수 있음을 보여줍니다.

계산적 실용성을 높이기 위해 백본의 인과 구조를 활용하여 슬라이딩 윈도우 대신 단일 패스에서 여러 시간점의 예측을 수행함으로써 특징 추출 비용을 크게 줄였습니다. 이를 통해 알려진 바에 따르면 뇌 인코딩을 위해 적응된 최대 1040억 개의 파라미터를 가진 멀티모달 백본을 효율적으로 미세 조정할 수 있게 되었습니다.

저랭크 어댑터(LoRA)와 경량의 판독(readout)을 사용하여 훈련된 이 방법은 아홉 가지 다양한 멀티모달 백본 전반에서 뇌 인코딩 성능을 지속적으로 향상시켰습니다. 특히 Qwen3-Omni 백본에서 BrainLoRA를 적용한 결과는 Algonauts 2025 챌린지에서 최고 성능을 달성했습니다.

또한, 여러 LoRA를 공유 백본에 공동으로 훈련하는 것을 가속화하기 위해 멀티-LoRA 커널을 개발하여 여러 LoRA의 공동 훈련을 촉진했습니다. 이 기술을 통해 200개 이상의 적응된 모델 앙상블을 구축할 수 있었으며, 이는 당시 공개 Algonauts 사후 챌린지 리더보드에서 1위를 차지했습니다.

거대 언어 모델(LLM) 에이전트가 익숙하지 않고 변화하는 환경에 배치됨에 따라 환경 역학을 선제적으로 탐색하고 이해하며 적응해야 하는 요구가 증가하고 있습니다. 그러나 기존의 벤치마크들은 에이전트가 환경을 어떻게 작동하는지 선제적으로 발견하고 변화에 적응할 수 있는지에 대해서는 거의 테스트하지 못하고 있습니다. 이러한 격차를 해소하기 위해 환경 역학을 숨겨진 규칙으로 설정하는 AdaExploreBench라는 선제적 탐색 및 테스트 시 적응을 위한 벤치마크가 소개되었습니다.

AdaExploreBench는 에이전트가 증거를 적극적으로 획득하고 규칙을 추론하도록 요구합니다. 특히 암묵적 규칙 표류(implicit rule drift) 상황에서는 규칙이 공지 없이 변경되는데, 에이전트는 성능 저하를 통해 이전 지식이 오래되었음을 감지하고 재탐색해야 합니다. 여덟 개의 주요 LLM에 대한 실험 결과, 선제적이고 적응적인 탐색은 여전히 어렵다는 것이 드러났습니다. GPT-6 Sol은 61.9%의 보정 정확도만을 달성했으며, 충분한 증거를 제공하거나 규칙 표류를 제거하면 평균 성능이 약 10% 가까이 크게 향상되었습니다.

이러한 결과는 현재 LLM 에이전트의 중요한 병목 현상을 보여줍니다. 에이전트는 정보가 제공될 때 유용한 증거로부터 효과적으로 추론할 수 있지만, 올바른 증거를 적극적으로 획득하고 이전에 획득한 증거가 더 이상 유효하지 않음을 인식하는 데 어려움을 겪습니다. 이는 에이전트가 변화하는 환경에서 지속적으로 적응하고 탐색하는 데 있어 근본적인 도전 과제가 있음을 시사합니다.

로봇 조작은 단순히 관찰에서 행동으로의 생성에 그치지 않고 물리 세계에서 작업에 지정된 상태 변화를 실현하는 것을 의미합니다. 기존의 비전-언어-행동(VLA) 방법들은 관찰에서 행동 매핑을 직접 학습하여 의미론적 이해와 실제 행동 실행 사이의 간극 때문에 상당한 학습 부담을 안고 있습니다. 또한, 세계-행동 모델(WAM)은 미래 예측을 통해 제어를 개선하지만, 완전한 미래 상태를 모델링하는 것은 정적인 외관이나 행동과 무관한 변화에 용량을 낭비합니다.

이에 연구진은 전체 미래 예측을 간결한 실행 가능한 전환 모델링으로 재구성하는 패러다임인 비전-언어-델타-행동(Vision-Language-Delta-Action, VLDA)을 제안합니다. VLDA의 핵심은 잠재적인 세계 상태 변화를 포착하는 간결한 델타 변수이며, 이는 비전-언어 이해와 행동 생성 사이의 인터페이스 역할을 합니다. 이 델타는 국소 전환 필터(Local Transition Filter, LT-Filter)와 전역 전환 앵커(Global Transition Anchor, GT-Anchor)로 구성된 통합 목표를 통해 학습됩니다. LT-Filter는 정적인 재구성 편향을 억제하면서 작업 관련 조작 중심 변화를 포착하고, GT-Anchor는 상태 변화의 전체 방향을 보존하기 위한 거친 미래 수준 정규화를 제공합니다.

델타 기반 행동 정제(Delta-Driven Action Refinement, DDAR)는 델타를 행동 다양체에 고정시키고 행동 노이즈를 안내하는 구조화된 시드로 주입하여 델타를 구체화합니다. 이 VLDA 프레임워크는 대규모 기반 및 체화 모델을 위한 오픈 소스 훈련 프레임워크인 LoongForge 내에서 구현되어 모듈식 및 분산된 인프라를 활용하여 통합된 2단계 최적화를 수행합니다. 실험 결과 VLDA는 장기 일관성, 견고성, 일반화 능력을 향상시켜 직접적인 행동 예측 및 전체 미래 상태 모델링에 대한 대안으로서 실행 가능한 델타를 입증했습니다.

일반 목적의 조작(manipulation)은 신체, 물체, 작업 요구 사항 전반에 걸쳐 신뢰할 수 있는 행동을 요구합니다. 이에 연구진은 크로스-임보디먼트(cross-embodiment) 정교한 조작을 위한 구성 가능한 시뮬레이션 플랫폼이자 벤치마크인 HandsOn을 소개합니다. 이 플랫폼은 다섯 개의 로봇 팔, 여섯 개의 정교한 손, 그리고 약 200개의 강체, 관절형, 변형 가능한 자산을 무작위 장면에서 지원합니다.

HandsOn은 18,000개의 인간 시연과 66개의 인간 검증 작업을 쌍으로 묶어 벤치마크를 구성했는데, Core-50은 시연 기반 학습 및 실행 테스트를 지원하며, Transfer-16은 목표 작업 훈련 없이 자산 및 관계 전이, 기술 구성, 변형 가능한 조작을 평가합니다. 실제 로봇에서의 시뮬레이션-실제(sim-to-real) 전이는 질적 실제 로봇 실행을 통해 입증되었습니다.

다양한 방법론(확산, 시각-언어-행동, 월드-행동, 프롬프트 VLM 기반 방법)에 걸쳐 훈련된 다중 작업 정책은 Core-50에서 29.1%의 성공률을 달성했습니다. 또한, 벤치마크 미세 조정 없이 move_eef를 사용하여 엄지손가락과 손바닥 제어를 수행한 GPT-6은 660회의 시도에서 Core-50에서 5.2%, Transfer-16에서 1.9%의 성공률을 기록했습니다.

훈련된 정책 단계 진단 결과, 접촉 확립, 행동 조정, 달성된 목표 유지에 실패하고 구성된 작업에서는 추가적인 순서 오류가 발생한다는 점이 드러났습니다. HandsOn은 조작 일반화와 신뢰할 수 있는 물리적 상호작용의 한계를 조사하기 위한 공유 기반을 제공합니다.

지속적인 학습을 통해 경험을 축적하고 재사용하는 지속 학습 에이전트들은 배포 후에도 생성, 상호작용, 메모리 예산이라는 엄격한 제약 조건 하에서 작동합니다. 이러한 엄격한 제약 조건 속에서 기존의 지속 학습 메모리 방법들은 비효율적이게 되며, 몇몇 정교한 접근 방식들은 단순 검색이나 메모리가 없는 에이전트보다 큰 이점을 제공하지 못하는 것으로 나타났습니다. 이는 자원의 희소성이 각 메모리 결정의 중요성을 높인다는 근본적인 문제를 드러냅니다.

과거 경험 중 일부만 보존하거나 재사용할 수 있고 추론 및 복구 기회가 제한될 때, 관련성이 있지만 비효율적인 메모리를 검색하는 것은 희소한 컨텍스트를 소모하고 다운스트림 실행을 방해할 수 있습니다. 따라서 핵심 과제는 단순히 관련 경험을 검색하는 것이 아니라 실제로 보존하고 재사용할 가치가 있는 경험이 무엇인지 결정하는 것입니다.

이러한 문제를 해결하기 위해 우리는 TokenWorth라는 경량 온라인 메모리 프레임워크를 제안합니다. TokenWorth는 희소한 실행 피드백으로부터 쿼리 종속적인 메모리 가치를 학습하고 이를 메모리 검색 및 경계가 있는 메모리 관리에 일관되게 적용합니다. 세 가지 LifelongAgentBench 환경과 로컬 및 API 기반 배포에서 평가한 결과, TokenWorth는 평가된 방법들 중에서 가장 적은 출력 토큰을 사용하면서도 가장 높은 작업 성공률을 달성했습니다.

이 결과는 자원 제약 하에서의 효과적인 지속적 적응이 더 많은 것을 기억하는 것이 아니라 무엇을 기억할 가치가 있는지 학습하는 것에 달려 있음을 시사합니다. 이 연구는 메모리 관리의 효율성을 높여 자원 제약 환경에서 에이전트의 성능을 극대화하는 데 기여합니다. 코드는 https://github.com/AIGNLAI/TokenWorth에서 공개되어 있습니다.

인간 활동을 에고센트로(egocentric) 비디오에서 재구성하려면 관찰자의 움직임, 주변 기하학, 손-물체 상호작용이 일관된 세계 내에서 조화되어야 합니다. 이러한 일관성을 달성하기 위해서는 관절 재구성(joint reconstruction)과 정렬된 지도(aligned supervision)가 모두 필요하지만, 기존 방법과 데이터셋은 이 두 가지 요구 사항을 모두 충분히 지원하지 못했습니다.

이에 연구진은 데이터 수집, 자동 주석 처리, 통합 모델링, 벤치마킹을 통해 이러한 필요성을 해결하는 전체 스택 패러다임인 EgoXperience를 제시했습니다. EgoXperience의 핵심은 기하학적으로 검증된 객체 추적과 SLAM 기반 세계 정렬을 결합하는 자동 주석 엔진인 EgoX-Engine입니다. 이 엔진은 카메라, 장면, 손, 물체에 대한 일관된 지도 정보를 제공하며, 이를 통해 50시간 분량의 작업 기반 조작 및 이동 데이터를 포함하는 EgoX-Data-6M 데이터셋을 생성했습니다.

이 데이터셋을 기반으로 학습된 EgoX 모델은 단일 순방향 통과(single forward pass)만으로 단일 세계 좌표계 내에서 카메라, 장면, 손, 물체의 공동 기하학적 재구성을 달성합니다. 광학적 에고센트로 비디오와 첫 프레임 객체 마스크를 사용하여 학습된 이 모델은 장면 추정 및 세계 공간에서의 손-물체 자세 복구에서 최고 수준의 성능을 보였습니다.

실험 결과, EgoX는 가장 강력한 평가 기준선 대비 카메라, 손, 깊이 오류를 각각 68.9%, 65.6%, 42.9% 감소시켰으며, 객체 자세 점수는 28.0% 향상되었습니다. 이는 에고센트로 비디오를 활용한 복잡한 환경에서의 인간 활동 재구성 정확도를 크게 높이는 결과를 보여줍니다.