읽을 가치가 있는 기사만, 짧고 또렷하게.

DeepSeek 4.1 Flash가 선두 모델들에 비해 훨씬 저렴하면서도 뛰어난 성능을 제공함에도 불구하고 업계가 크게 동요하지 않는 이유에 대해 논의합니다. 개발자들은 최신 모델을 쫓기보다는 실질적인 작업에 가장 효율적인 비용을 얻는 것에 집중하고 있으며, 현재의 모델들만으로도 고품질의 자동화된 작업을 수행하기에 충분하다고 판단하고 있습니다.

이러한 효율성은 DeepSeek이 KV 캐시를 약 437배 줄이는 캐시 마법 기술을 적용했기 때문에 가능합니다. 이는 장시간 코딩 세션에서 GPU 메모리 비용을 크게 절감하며, 결과적으로 환경 보호에도 기여합니다. 개발자들은 비용과 환경적 지속 가능성을 고려하며 고성능 인텔리전스에 대한 접근성을 민주화하는 방향으로 사고방식을 바꾸고 있습니다.

물론 중요한 비판점은 여전히 존재합니다. 일부 복잡하거나 결정적인 작업에서는 여전히 Opus와 같은 최상위 모델을 사용하여 최종 코드 검토나 에지 케이스를 확인하는 것이 필요합니다. 하지만 DeepSeek 4.1 Flash는 일상적인 작업이나 탐색적인 테스트에는 충분하며, 비용 효율성과 속도를 동시에 만족시키는 새로운 개발 패러다임을 제시하고 있습니다.

이러한 경제적 변화는 자가 호스팅 환경에도 영향을 미치며, 향후 이러한 캐시 최적화 기술이 완전히 로컬 환경에서 작동하게 될 가능성이 높습니다. 이는 고성능 AI에 대한 접근성을 높이고 비용 효율성을 극대화하는 중요한 변화입니다.

COSMIC 데스크톱 환경은 KDE Plasma만큼 광범위한 맞춤 설정을 제공하지는 않지만, 사용 편의성과 실시간 반영 능력에서 강점을 보입니다. 이는 복잡한 설정 없이 외형을 단순하게 구성하고 변경 결과를 즉시 반영하는 사용성 측면에서 뛰어난 경험을 제공합니다.

COSMIC은 특히 모서리 곡률과 인터페이스 밀도, 색상 및 반투명 효과를 사용자가 직접 조절할 수 있도록 지원합니다. 이러한 세부적인 외형 요소들을 쉽게 제어할 수 있다는 점이 사용자 경험을 개선하는 핵심 요소입니다.

이러한 기능들은 KDE Plasma 환경에서도 일부 변경 사항에 대해 즉각적인 피드백을 제공하는 것과 비교될 수 있습니다. 즉, COSMIC은 깊은 커스터마이징의 폭보다는 설정의 단순성과 변경 사항의 즉각적인 반영이라는 사용성 측면에 중점을 두고 있습니다.

개발자와 UX 디자이너 사이에서 번아웃과 업계 이탈 현상이 심화되고 있습니다. AI 기술을 수용했던 개발자들조차도 현재의 상황이 업계의 미래라면 더 이상 해당 직업을 지속하고 싶지 않다는 인식을 보이고 있습니다.

이러한 현상은 경영진의 유인 구조와 밀접하게 연결되어 있습니다. 현재의 유인 구조는 인원과 비용을 줄이고 노동자의 영향력을 약화하는 방향으로 작동하고 있으며, 이는 개발자들의 심리적 부담을 가중시키는 요인으로 작용하고 있습니다.

결국 AI의 도입과 함께 변화하는 환경 속에서 노동자의 영향력이 약화되는 구조는 개발자들의 소진을 심화시키고 있으며, 이는 업계 전반의 지속 가능성에 중요한 질문을 던지고 있습니다.

최근 인공지능(AI) 수학의 급속한 발전이 양자 컴퓨터 등장 이전에 현재 블록체인 암호화 시스템의 보안을 위협할 수 있다는 연구 결과가 나왔습니다. 이더리움 공동 창립자 비탈릭 부테린은 AI가 오늘날 블록체인에 사용되는 암호학, 특히 타원 곡선 디지털 서명 알고리즘(ECDSA)을 무력화할 수 있다는 경고에 동의하며 암호학적 위험을 심각하게 다룰 것을 촉구했습니다.

연구자들은 AI가 수학적 추론 능력을 통해 암호학적 난이도 가정(cryptographic hardness assumptions)을 뒤엎을 수 있으며, 특히 격자 기반 암호(lattice-based cryptography)의 구체적인 보안이 향후 2년간 AI 수학 발전으로 인해 심각한 타격을 입을 수 있다고 경고했습니다. 이는 양자 내성 암호(quantum-resistant cryptography)에 대한 우려를 넘어선, 기존 수학 자체의 취약성에 대한 문제입니다.

이에 따라 연구자들은 사용자들에게 자산을 새로운 주소로 점진적으로 이전하는 '벙커 모드(bunker mode)'로의 자금 이동을 권고했습니다. 다만, 자금 이동은 신중하게 관리되어야 하며 서두르는 것은 오히려 해를 끼칠 수 있다는 주의가 함께 제시되었습니다. 자금 이동 과정에서 발생하는 위험 또한 존재하므로, 사용자는 신중하고 점진적인 방식으로 자산을 관리해야 합니다.

마이크로소프트는 최근 생애 첫 라이브 이벤트를 통해 새로운 AI 친화적 하드웨어와 윈도우 변경 사항을 발표하며 개인 컴퓨팅 환경에 대한 비전을 공유했습니다. 이번 발표는 특히 개발자 커뮤니티와 홈 엔터테이셔널 사용자들을 위한 로컬 AI 및 에이전트 워크플로우의 가능성에 초점을 맞추고 있습니다.

새롭게 공개된 서피스 랩톱 울트라(Surface Laptop Ultra)는 엔비디아 RTX Spark SoC를 활용한 마이크로소프트의 첫 번째 제품입니다. 이 장치는 시작 가격이 2,599달러이며, 5120코어 또는 6144코어 블랙웰 GPU와 최대 128GB의 LPDDR5x 통합 메모리를 지원합니다. 이 기기는 10월 16일부터 배송을 시작하며 현재 사전 주문이 가능합니다.

이 새로운 하드웨어는 전통적인 GPU의 물리적 VRAM 한계 대신 통합 메모리 할당을 통해 리소스를 관리함으로써, 현대 게임 작업뿐만 아니라 로컬 AI 개발 및 배포를 처리할 수 있도록 설계되었습니다. 이는 개발 환경에서 AI 워크플로우를 더욱 효율적으로 구축하고 데스크톱 환경에서 AI를 통합하는 데 중요한 변화를 가져올 것입니다.

이 연구는 금융, 의료, 비즈니스 프로세스 인텔리전스 등 다양한 분야에서 발생하는 이질적인 특징을 가진 사건 시퀀스(event sequences)의 다중 시간 지평 예측을 조건부 생성 모델 문제로 다룹니다. 연구진은 예측 정확도뿐만 아니라 분포적 현실성(distributional realism)까지 평가하는 벤치마크를 제시했습니다.

평가 결과, 정확도와 현실성 두 가지 측면 모두에서 뛰어난 성능을 보이는 방법은 없으며, 이 둘 사이에는 근본적인 상충 관계가 존재한다는 점이 밝혀졌습니다. 이는 예측 모델 개발 시 정확도와 현실성 중 어떤 목표에 우선순위를 둘지에 대한 중요한 트레이드오프를 시사합니다.

연구는 이러한 상충 관계를 해결하기 위해 새로운 알고리즘인 Wasserstein BaryBooster를 소개합니다. 이 알고리즘은 현실성 강한 확산 모델(diffusion model)에서 샘플을 집계하여 최첨단 예측기로 변환함으로써, 분포적 현실성을 예측 정확도로 전환할 수 있음을 입증합니다.

이 방법론은 현실성 있는 분포 정보를 활용하여 예측 성능을 향상시키는 새로운 접근 방식을 제공하며, 관련 코드는 공개되어 있습니다. 해당 연구는 https://github.com/xaosina/event-sequence-forecasting에서 확인할 수 있습니다.

GUI 에이전트의 안전성은 화면 자체보다는 행동의 전환(transition)에 달려 있다는 점이 핵심입니다. 예를 들어, 'Sign in' 후에 로그인 화면이 나타나는 것은 예상되지만, 'View order' 후에 같은 화면이 나타나는 것은 공격일 수 있으므로, 단순히 화면을 검사하는 모니터는 합법적인 화면을 재사용하여 속일 수 있습니다. 따라서 전환을 판단하기 위해서는 해당 행동 다음에 무엇이 발생해야 하는지에 대한 기대치가 필요합니다.

기존의 GUI 세계 모델은 텍스트나 이미지 형태로 예측을 출력하기 때문에, 이를 관찰된 화면과 비교하려면 추가적인 모델이 필요합니다. 연구진은 검증을 목적으로 하는 세계 모델은 관찰이 인코딩된 공간에서 직접 예측해야 한다고 주장하며, 이를 위해 LGWM(decoder-free, 행동 조건부 세계 모델)을 제안했습니다. LGWM은 의미적 주석 없이 185만 건의 실제 GUI 전환 데이터를 학습하여 다음 화면의 표현(representation)을 직접 예측합니다.

이러한 접근 방식은 검증을 벡터 비교로 단순화하며, 이 신호만으로도 불일치가 해로운지 아닌지를 판단할 수 있습니다. 실험 결과, LGWM은 17ms의 결정 시간으로 생성형 GUI 세계 모델보다 수천 배 낮은 지연 시간에서 최고 0.987 AUC를 달성했습니다. 또한, 해로운 위반과 양립하는 위반을 분리하는 데 0.953 AUC를 기록했으며, 이는 프롬프트된 VLM이 거의 무작위 수준에 머무는 것과 비교했을 때 매우 높은 수치입니다.

결론적으로, 세계 모델은 주로 시뮬레이터나 플래너의 역할을 해왔으나, 본 연구 결과는 세계 모델이 검증(verification)이라는 세 번째 역할을 수행할 수 있음을 시사합니다. 관찰 공간에서 예측하는 것이 자연스러운 설계이며, 이는 GUI 에이전트의 안전성을 보장하는 데 중요한 역할을 합니다.

장기 목표를 가진 LLM 에이전트는 이전 상호작용에서 정보를 지속적으로 활용해야 하지만, 전체 기록을 보존하면 컨텍스트 비용이 증가하고 압축하면 나중에 필요한 세부 정보를 잃을 위험이 있습니다. 이러한 문제를 해결하기 위해 FlowState는 실행 상태를 메모리로 간주하여 요청 전반에 걸쳐 보존하고 재방문할 수 있도록 제안합니다. FlowState는 의미적으로 타입이 지정된 상태 노드, 그 관계, 그리고 원시 도구 관찰에 대한 참조를 보존하여 영구적인 보존과 필요에 따른 접근을 분리합니다.

단일 실행 루프 내에서 증분 상태 업데이트(ISU)는 새로운 입력과 피드백을 기반으로 현재 상태를 유지하며, 점진적 상태 접근(PSA)은 추론 중에 필요에 따라 과거 상태와 지원 증거를 점진적으로 드러냅니다. 이 두 메커니즘은 에이전트가 새로운 정보를 바탕으로 이전 결정을 재평가하고 후속 행동을 안내할 수 있도록 합니다.

DeepSeek-V4-Flash 모델을 사용한 전체 컨텍스트 기준과 비교했을 때 FlowState는 메모리 영역(MemoryArena) 성공률을 4.55%p, $\tau^3$-Bench 통과율을 13.95%p 향상시키면서도 총 토큰 소비량을 각각 43.2%와 40.6% 절감했습니다. 이는 장기 목표 작업에서 FlowState가 성능과 효율성 측면에서 가지는 이점을 명확하게 보여줍니다.

2026년 현대 AI 에이전트 대비 봇 탐지 시스템 벤치마킹 결과, 탐지율이 9%에서 99%까지 광범위하게 나타났습니다. 기존의 자동화된 브라우저를 대상으로 한 평가에서는 시스템별 탐지율이 33%에서 87%로 나타났으나, 최근에는 스텔스 브라우저와 AI 기반 브라우징 에이전트를 포함한 더 진보된 적대자들을 테스트하여 탐지 성능의 차이가 더욱 두드러졌습니다.

평가에 사용된 시스템으로는 Proof of Human, Google reCAPTCHA v3, hCaptcha, Cloudflare Turnstile, Cloudflare Bot Management 등이 있으며, 이들 중 일부는 스크립트된 브라우저에는 효과적이었으나 시각 정보 처리 능력을 갖춘 AI 에이전트에게는 탐지 능력이 현저히 떨어지는 것으로 확인되었습니다. 예를 들어, Cloudflare Turnstile은 스크립트된 브라우저(Chromium, CloakBrowser)는 탐지했으나 시각 기반 에이전트(Browser Use, Grok, Perplexity Comet)는 탐지하지 못하는 결과를 보였습니다.

이러한 결과는 봇 탐지 기술이 전통적인 자동화 신호보다는 사용자의 세션 행동을 구별하는 방향으로 진화해야 함을 시사합니다. 현재 시스템들은 브라우저 수준의 지표를 회피하는 AI 에이전트의 정교한 행동을 구별하는 데 한계가 있으며, 향후 벤치마크는 인간 참가자를 포함하여 오탐률을 측정하고 더 복잡한 작업과 신흥 에이전트를 평가해야 할 필요가 있습니다.

오토회귀 비디오 확산 모델은 실시간 상호작용 비디오 생성 및 비디오 월드 모델링의 선두적인 접근 방식으로 자리 잡았습니다. 하지만 기존 방법들은 다음 비디오 청크를 생성할 때 공간 전체에 계산을 균일하게 할당하여 모든 패치를 동일한 디노이징 스케줄과 함수 평가 횟수를 적용합니다. 이는 비디오 콘텐츠의 공간적 이질성을 무시하는 문제인데, 정적하거나 단순하거나 반복되는 영역은 디노이징이 더 쉽지만 다른 영역은 추가적인 정제나 컨텍스트가 필요합니다.

이러한 균일한 예산 할당은 쉬운 패치에 대한 불필요한 계산을 초래하는 동시에 어려운 패치에는 충분한 정제가 이루어지지 않을 수 있습니다. 이에 본 연구는 개별 패치에 디노이징 단계를 동적으로 할당하는 일반적인 프레임워크인 ForcingBooster를 제안합니다. 이 방법은 쉬운 패치는 효율성을 위해 조기에 멈추고 어려운 패치는 더 많은 정제 단계를 받도록 설계되었습니다.

이러한 설계는 시각적 품질 저하를 거의 없이 생성 속도를 높입니다. ForcingBooster는 기존의 소수 단계 오토회귀 확산 모델과 호환되며, 경량의 라우팅 모듈만으로도 적절한 학습만 필요합니다. 실험 결과, 이 방법은 비디오 패치 전체에 적용된 디노이징 단계 수를 약 50% 감소시키면서도 4단계 기준과 비교할 수 있는 시각적 품질을 유지했습니다.

AI 기반 타이밍 인식 전력 최적화 프레임워크가 라우팅 후 전력 복구(power recovery) 과정에 적용되어 설계 제약 조건을 고려한 셀 선택을 최적화합니다. 이 프레임워크는 학습된 모델이 최적화의 두 단계, 즉 시도할 전력 복구 수정 사항과 그에 따른 복구 조치를 모두 이끌도록 설계되었으며, 결정론적인 전자 설계 자동화(EDA) 분석이 모든 수용 여부를 관리합니다.

이 시스템은 기본 제약 조건 마진을 기록하고 복구 트랜잭션이 각 분석 뷰에서 야기하는 손상을 식별하며, 기존 위반 사항을 전력 단계 내에서 처리하지 않고 기준선에 유지합니다. 또한, 복구 비용 지출을 측정된 절감액의 일부로 제한하여 보수적인 추정치를 제공합니다.

다양한 특징(행동 및 타이밍 컨텍스트)을 활용하는 그래디언트 부스팅 모델 앙상블은 각 시도 전에 전력 변화, 정규화된 손상 감소, 제약 조건 회귀 위험을 예측합니다. 그러나 실제 복구와 수리는 물리적 구현과 새로운 분석을 통해 기준선 보존과 순이익이 확립될 때까지 추측에 기반합니다.

연구진은 이 프레임워크에 대한 계약, 학습된 정책, 트랜잭션 흐름 및 공개 설계에 대한 사전 등록된 평가 프로토콜을 명시했습니다. 공개 설계에 대한 연구 결과는 이 계약을 뒷받침하지만, 학습된 모델 결과나 독점적인 설계 측정값은 보고되지 않았습니다.

코딩 에이전트가 텍스트 응답 대신 상호작용 소프트웨어를 생성하는 추세이지만, 많은 버그는 여러 단계의 상호작용 후에야 드러나기 때문에 사용자들은 버그를 발견하고 수정을 기다려야 하는 비효율적인 개발 루프를 겪고 있습니다. 기존 벤치마크들은 버그가 이미 식별되었다고 가정하여 에이전트가 상호작용에 의존하는 실패를 찾는 능력을 평가하지 못하고 있었습니다.

이러한 한계를 극복하기 위해 연구진은 실제 버그 수정 사례를 기반으로 200개의 과제를 구축한 SWEeper-Bench를 소개합니다. 이 과제들은 에이전트에게 코드베이스와 같은 개방형 요청을 제공하며, 에이전트는 코드만으로는 감지하기 어려운 버그를 발견하기 위해 상호작용 테스트를 설계해야 합니다. 이후 에이전트 검증기는 사용자가 브라우저에서 관찰할 수 있는 내용을 기준으로 각 수정을 평가합니다.

하지만 15개의 최첨단 에이전트 중 최고 성능의 에이전트조차도 과제의 59.0%만을 통과했습니다. 단계별 분석 결과, 가장 큰 병목 현상은 버그 있는 동작을 식별하는 데 있음을 발견했습니다. 에이전트는 관련 기능에 도달하지만 실패를 유발하지 못하거나 실패를 인식하지 못하는 경우가 많습니다.

SWEeper-Bench는 에이전트가 사용자 피드백을 기다리지 않고 작동하는 소프트웨어를 제공하며 이 루프를 스스로 닫는 방향으로 발전하는 것을 측정합니다. 이는 에이전트가 상호작용에 의존하는 실패를 스스로 해결하도록 돕는 데 중점을 둡니다.

고해상도 자연 이미지들의 임베딩은 하나의 다양체(manifold)를 형성하며, 고해상도 이미지의 품질 저하는 이 다양체에서 임베딩을 벗어나게 만듭니다. 따라서 실제 초해상화(SR) 작업은 저해상도 또는 손상된 이미지의 임베딩을 다양체 상의 적절한 지점으로 다시 매핑하는 것이 되어야 하며, 이는 의미론과 픽셀 디테일을 보존하는 지점을 찾는 것을 의미합니다. 기존의 대부분의 방법들은 재구성 지향적인 잠재 공간이나 픽셀 공간에서 이 매핑을 수행하는데, 이는 SR 작업에 부적합한 기저 공간이라는 주장이 제기됩니다.

저해상도 또는 손상된 이미지는 다양체에서 멀리 떨어져 임베딩되므로 매핑이 어렵고 비용이 많이 들며, 이들 기저 공간에는 의미 정보가 부족하여 심한 왜곡(hallucination)을 유발합니다. 연구진은 이러한 문제를 해결하기 위해 DINOv3-L의 23개 융합 레이어로 구성된 잠재 공간을 제안했는데, 이 공간에서는 손상된 이미지가 다양체 근처에 위치하며 픽셀 기록부터 손상에 강한 의미론까지 정보 계층 구조를 포함하고 있어 신뢰할 수 있는 지점을 찾는 것이 용이해집니다.

이러한 잠재 공간에서 재구성 및 적대적 목표를 통해 415M 디코더를 훈련시킨 결과, RAESR 모델이 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 손상된 임베딩을 다시 디코딩하여 픽셀 공간으로 변환하는 데 성공했습니다. RAESR은 RealSR, DRealSR, LSDIR, DIV2K-Val 등 최신 적대적 및 확산 기반 복원 모델들 중에서 최고의 충실도-지각(fidelity-perception) 균형을 달성했으며, VAE 잠재 공간으로 기저를 변경했을 때 모든 측정 지표에서 성능이 저하되는 것을 확인했습니다.

작업 에이전트는 전문적인 지식 집약적 작업을 수행하기 위해 디지털 아티팩트 위에서 작동하며, 장기적인 상호작용과 신뢰할 수 있는 검증을 지원하는 훈련 환경이 필요합니다. 그러나 수작업으로 환경을 구축하는 방식은 막대한 엔지니어링 오버헤드를 발생시켜 환경 확장을 방해하며, 합성 방법은 작업 공간의 복잡성, 현실성 또는 근거 있는 검증 가능성을 희생시킵니다.

이러한 격차를 해소하기 위해 연구진은 실제 리소스에서 검증 가능한 작업 에이전트 환경을 구축하는 확장 가능한 합성 프레임워크인 WorkForge를 소개합니다. WorkForge는 전문가 워크플로우에서 시작하여 필요한 리소스, 결정, 결과물을 식별하고 이를 작업 공간으로 정리합니다. 이후 WorkForge는 작업 공간을 검사하여 내용에 대한 구체적이고 검증 가능한 사실을 추출하는 사실적 앵커를 생성합니다. 이 사실적 앵커를 통해 각 작업의 지침, 해결 계획, 보완적인 프로그래밍 및 의미적 검증 도구를 도출하여 검증이 관찰 가능한 작업 공간 증거에 추적 가능하도록 만듭니다.

연구진은 이 방법을 통해 40개의 전문 분야에 걸쳐 16,700개의 검증 가능한 환경을 구축했으며, 작업 공간은 총 60가지 파일 유형을 포괄합니다. 또한, 훈련 후 Qwen3.5-35B-A3B-Base 모델은 GDPVal을 45.5에서 73.6으로, APEX 점수를 5.0에서 21.3으로 향상시켰습니다. 이는 Qwen3.5-27B 모델이 강력한 경쟁자들을 능가하는 높은 경쟁력을 달성할 수 있도록 했습니다. 분석 결과는 제안된 방법의 효과를 확인하며 데이터 볼륨과 상호작용 범위 모두에서 일관된 확장 행동을 보여줍니다.

멀티플레이어 월드 모델은 플레이어와 공유 환경에 대한 일관된 표현을 가지면서 독립적으로 제어되는 시점을 생성해야 합니다. 기존 접근 방식은 여러 플레이어를 공동으로 생성하는 방식에 의존하여 추가 플레이어가 늘어날수록 비용이 증가하는 한계를 가집니다. 이에 따라 본 논문은 각 플레이어가 비디오 생성기와 상태 모델을 포함하는 로컬 클라이언트를 실행하는 분산형 멀티플레이어 월드 모델인 WorldCast를 제안합니다.

WorldCast는 훈련 중 기록된 플레이어 위치와 맵 기하학을 사용하여 상태 모델이 생성된 비디오와 제어 입력으로부터 플레이어의 위치를 추정합니다. 클라이언트는 플레이어 상태를 교환하고 이를 카메라 정렬된 플레이어 상태 필드로 투영하여 다른 플레이어가 어디에서 어떻게 렌더링되어야 하는지 안내합니다. 또한 공유 장면 상태를 통해 클라이언트는 서로의 생성된 관찰을 재사용하여 모든 시점 간에 장면의 외관 일관성을 유지할 수 있습니다.

Counter-Strike 2 실험 결과는 WorldCast의 일관성, 실시간 성능, 그리고 분산 확장성을 입증했습니다. 카메라 정렬된 플레이어 상태 필드는 공동 생성 방식에 비해 플레이어 렌더링 속도를 10배 이상 향상시키며, 공유 장면 상태는 전체 라운드에 걸쳐 시각적 일관성을 개선합니다. 각 클라이언트는 실시간으로 실행되며 플레이어 및 장면 상태만 교환하므로 중앙 집중식 계산 병목 현상 없이 확장 가능한 멀티플레이어 생성이 가능합니다. 또한 시간 단위의 롤아웃에서도 이미지 품질이 안정적으로 유지되었습니다.

Joint-embedding predictive architectures(JEPAs)는 픽셀 재구성이 필요 없이 압축된 잠재 세계 모델을 학습하는 방법입니다. 기존의 JEPA 파이프라인은 제어 정책이나 솔버를 추가하기 전에 시각적 표현과 행동 조건부 동역학을 학습하는 방식으로 진행되었습니다.

이에 연구진은 제어에 특화된 종단 간(end-to-end) JEPA인 LeWAM을 제안했습니다. LeWAM은 다음 잠재 상태 예측과 행동 흐름 매칭에 대한 공동 훈련 목표와 잠재 상태에 대한 등방성 가우시안 제약 조건을 사용하여 단일 모델로 직접적인 정책 실행과 효율적인 계획을 지원합니다.

이러한 접근 방식은 시각적 계획에서 이전 JEPA 대비 성능을 크게 향상시킵니다. 접촉이 많은 작업에서는 성공률이 28.6%에서 89.7%로, 장기 수평 작업에서는 10.9%에서 46.2%로 개선되었으며 계획 속도는 32.3배 빨라졌습니다. 또한 시뮬레이션 및 물리적 로봇의 행동 복제 작업에서도 기존 방법들과 경쟁할 수 있는 성능을 보입니다.

추가적인 해석 가능성 분석 결과, LeWAM은 제어 관련 표현과 행동 분포를 효과적으로 학습하여 테스트 시간 계획 및 제어를 안내하는 것으로 나타났습니다.

멀티모달 대규모 언어 모델(MLLM)은 공간적, 체화적, 물리적, 시간적 추론에서 어려움을 겪는 것으로 나타났습니다. 연구진은 이러한 실패가 시각적 전환 추론의 공유된 결핍에서 비롯된다고 가정하고, 이 능력을 다양한 모델이 다른 지도 소스에서 학습하고 재사용할 수 있는 공유 훈련 원시(training primitive)로 활용할 수 있는지 테스트했습니다.

이를 위해 연구팀은 시각적 전환 추론을 위한 훈련 소스와 벤치마크인 WOVEN을 소개했습니다. WOVEN은 비디오 사전 학습 생성 모델로부터 얻은 다양하고 현실적인 롤아웃을 사용하여 장면, 행동, 추론 유형별로 전환 지도(transition supervision)를 체계화하며, 총 36,076개의 예시를 포함합니다. 이 데이터는 20가지 장면 유형, 5가지 행동 유형, 8가지 추론 유형을 포괄합니다.

38개의 최첨단 MLLM(예: GPT-5.4, Qwen3-VL-235B-A22B)을 평가한 결과, 모델들은 체계적인 결함을 보였으며, WOVEN을 통해 훈련했을 때 모델들은 공유되는 능력을 학습하는 것으로 확인되었습니다. 특히, 전체 훈련 데이터의 30~50%를 대체하면서도 유사한 정확도를 달성할 수 있으며, 훈련 데이터의 약 2,000개 항목만으로도 외부 벤치마크 26개 중 22개를 최대 27.3% 포인트 향상시킬 수 있습니다.

또한, 연구는 시각적 세계 모델 훈련을 위한 훈련 레시피를 제시했습니다. 이는 모델이 보여주는 행동이나 장면보다는 학습하는 추론 작업에 따라 지도를 선택하고, 견고성을 높이기 위해 시각적 상태 변화를 더 크게 선호해야 함을 의미합니다. 이 연구는 시각적 전환 추론이 MLLM에서 체계적인 시각적 세계 모델 훈련을 위한 재사용 가능한 기반임을 확립합니다.

세계 행동 모델(WAM)은 주어진 작업 지시에 따라 로봇이 어떤 움직임을 실행해야 하며 그 움직임이 주변 환경에 어떻게 변화를 줄지라는 물리적 질문에 답하는 것을 목표로 합니다. 기존의 대부분의 WAM은 사전 학습된 비디오 생성기를 기반으로 하며 이미지나 시각적 잠재량을 통해 세계의 변화를 표현합니다. 하지만 로봇 상호작용은 물리적인 3차원 공간에서 발생하지만, 이미지는 시점 의존적인 투영으로 픽셀 거리가 물리적 거리를 직접적으로 인코딩하지 못한다는 한계가 있습니다.

본 논문은 이러한 한계를 극복하기 위해 UNITAS를 제안하며, 이는 상호작용 내에서 관찰, 행동, 장면 역학을 각 상호작용마다 공유되는 측정된 3차원 프레임 내에서 통합하는 최초의 3차원 네이티브 세계 행동 모델입니다. UNITAS는 로봇의 신체와 인간 손을 아우르는 공통 표현을 사용하여 관찰과 행동을 통합합니다. 구체적으로 행동 흐름은 인간 손과 로봇 그리퍼를 3차원 점 궤적으로 표현하며, 장면 흐름은 이러한 궤적에 조건화된 장면-점 변위를 설명합니다.

UNITAS는 세계 정렬 3차원 위치 임베딩을 사용하여 시각 토큰을 깊이 입력 유무와 관계없이 구체화하고, 물리 시간 궤적 토크나이저를 통해 각 점 궤적을 현재 3차원 위치에 고정된 토큰으로 인코딩합니다. 이 인터페이스는 직접적인 행동 실행과 행동 조건화된 장면 예측을 모두 지원합니다. 17억 개의 파라미터를 가진 UNITAS는 RoboTwin에서 비교 대상 방법들 중 최고의 행동 조건화 장면 예측 성능을 달성했으며, PointWorld보다 최대 49% 낮은 변위 오류와 LIBERO에서 99.8%, 실제 작업에서 평균 85%의 조작 성공률을 기록했습니다.

거대 언어 모델(LLM)은 명시적인 "사고 모드"를 제공하지만, 이에 상응하는 "사고 없음(no-thinking)" 행동에 대한 연구는 상대적으로 부족합니다. 본 연구는 LLM의 사고 없음 행동을 측정하기 위한 두 가지 축을 설정하고 이를 평가하는 방법을 제시합니다. 기존 연구에서 사용되던 비활성화된 사고 모드나 긴 추적의 부재와 같은 대리 지표들은 신뢰성이 낮다는 문제점이 있습니다.

따라서 연구진은 응답을 정답과 사전 답변 추적(pre-answer trace)으로 분리하여 세 가지 측정 지표를 도입했습니다. 이는 엄격한 정답만 출력하는 준수율(Empty-Thinking Rate), 질문과 사전 답변 추적의 관련성(Question-Pre-answer Relevance), 그리고 LLM이 판단하는 명시적 추론 비율(Explicit Inference Rate)로 구성됩니다. 이 지표들은 답변만 출력하는 결과, 관련성이 있으나 추론이 없는 텍스트, 그리고 명시적 추론을 명확히 구분할 수 있게 합니다.

다양한 작업과 모델에 걸쳐 사고 없음이 어떻게 달라지는지를 평가한 결과, 명시적인 사고를 통제하더라도 추론이 완전히 사라지지 않는 현상이 발견되었습니다. 모델은 "사고 관성(Thinking Inertia)"을 보이며, 특히 답변 공간이 넓어질수록 명시적 추론이 더 두드러지게 나타납니다. 이는 불리언 및 다중 선택 작업에서는 정확도가 안정적으로 유지되지만, 개방형 작업에서는 정답만 출력하는 준수율과 작업 정확도 사이에 상충 관계가 있음을 보여줍니다.

결론적으로 사고 없음은 모델 설정이나 지침만으로 명시적 추론을 완전히 중단할 수 없으며, 추론 능력과 함께 체계적으로 평가되어야 하는 비자명한 능력임을 입증합니다. 후보 답변을 제공하는 것이 정답만 출력하는 응답을 생성하는 데 더 용이하다는 점도 확인되었습니다.

인간은 장면에서 명시적으로 보이는 것 이상을 인식하며, 이는 단순한 감각 인식을 넘어 암묵적인 정보를 복구하는 직관적 추론 메커니즘인 일종의 '인간의 육감(Humanity's Sixth Sense)'을 반영합니다. 예를 들어, 한 번의 시선으로 과거의 원인과 미래의 궤적을 파악하거나, 몇 초의 영상으로 권위자를 식별하고 숨겨진 규칙이나 레이블을 알아차리는 능력이 여기에 해당합니다. 이러한 빠르고 즉각적인 시각적 직관은 일상적인 내비게이션과 사회적 상호작용의 기반이 되므로, 사람들과 함께 배치되는 멀티모달 대규모 언어 모델(MLLMs)에게 매우 중요한 능력입니다.

하지만 기존의 시각 벤치마크들은 학문적 또는 수학 분야의 숙련된 분석이나 저수준 인식에 초점을 맞추고 있어, 사람들이 수행하는 직관적 추론 능력은 대부분 검증되지 않은 상태입니다. 이러한 격차를 해소하기 위해 연구진은 직관적 시각 추론을 측정하는 벤치마크인 '인간의 육감(HSS)'을 도입했습니다. HSS는 다양한 이미지 및 비디오 입력을 포괄하며, 사람들이 한눈에 추론하는 시간적, 공간적, 사회적, 추상적 구조를 탐구하는 프롬프트와 결합하여 암묵적인 구조를 측정합니다.

현재의 최첨단 MLLM들은 인간의 성능에 미치지 못합니다. 참가자들은 93.1%의 정확도를 달성한 반면, 가장 강력한 모델인 GPT-6-astra조차도 최대 추론 노력을 기울였음에도 불구하고 53.6%에 머물렀습니다. 이는 모델들이 복잡한 지식과 인식을 갖추었음에도 불구하고 인간이 직관적으로 수행하는 시각적 과제에서 여전히 상당한 어려움을 겪고 있음을 보여줍니다.

연구진은 HSS를 통해 직관적 시각 추론을 측정 가능한 축으로 확립하고, 현재 벤치마크로는 따라잡지 못한 능력을 향해 주의를 집중시킵니다. 또한, 동적인 시각 조작을 HSS에 적용하는 에이전트 설정을 탐구하여 이 격차를 좁히는 연구를 진행하고 있습니다.