읽을 가치가 있는 기사만, 짧고 또렷하게.

ESP32-C3 칩에 PSRAM 없이도 Pi-hole 수준의 DNS 광고 차단 기능을 구현하는 프로젝트가 공개되었습니다. 이 프로젝트는 블록리스트를 RAM에 저장하는 대신, 도메인 해시를 플래시에 저장하고 바이너리 검색을 통해 빠르게 매칭하는 방식을 채택하여 메모리 제약이 있는 환경에서 효율적인 DNS 싱크홀 기능을 제공합니다.

이 방법은 기존의 문자열 기반 접근 방식과 비교했을 때 메모리 사용 효율성이 크게 개선됩니다. 537k개의 도메인을 40비트 FNV-1a 해시로 플래시에 저장하고 바이너리 검색을 수행함으로써, 약 10ms 내에 도메인을 식별할 수 있으며 필요한 RAM 사용량은 약 50KB에 불과합니다. 이는 PSRAM이 없는 ESP32-C3와 같은 저전력 하드웨어에서 블록리스트를 처리할 때 PSRAM 요구 사항을 없애는 중요한 기술적 진보를 의미합니다.

개발자는 이 프로젝트를 통해 UDP DNS 싱크홀 기능과 웹 대시보드를 포함한 기능을 구현했으며, OTA 업데이트 및 mDNS를 통한 디스커버리 기능도 추가했습니다. 다만, 실제 환경에서 사용 시 ModemManager와 같은 모뎀 관리 시스템이 USB 시리얼 포트를 제어하는 문제나 DNS 클라이언트의 EDNS OPT 레코드 처리와 같은 몇 가지 잠재적인 문제점들을 해결해야 합니다.

OpenAI가 텍스트와 이미지를 평가하여 확률, 선택지, 점수를 반환하는 Decisions API의 공개 베타를 시작했습니다. 이 API는 서술형 답변 대신 앱에서 바로 사용할 수 있는 판단 결과를 제공하여 실제 애플리케이션에서의 의사결정 기능을 지원합니다.

이 API는 조건이 참일 확률, 고정 선택지 중 하나, 평가 기준 등 복잡한 판단 기준에 기반한 결과를 산출하는 데 중점을 둡니다. 이는 사용자가 자연어 답변을 분석하는 대신 구조화된 판단 결과를 즉시 활용할 수 있게 합니다.

특히 Decisions API는 기존 Responses API보다 약 10배 빠른 속도를 제공하여 실시간 의사결정이 필요한 환경에서 효율성을 극대화합니다. 개발자들은 이 API를 통해 AI 모델의 출력을 단순한 텍스트가 아닌 구체적인 판단 데이터로 활용할 수 있습니다.

AI를 받아들일지 거부할지 논쟁하기보다 창작자의 기여 인정, 동의와 보상을 먼저 정해야 한다는 주장이 제기되고 있습니다. 이는 AI 기술이 창작자의 작업 위에 일방적으로 쌓아 올려지는 것이 아니라, 창작자와 함께 협력하여 만들어져야 한다는 관점을 강조합니다.

이러한 논의는 단순히 기술 수용 여부를 넘어 창작 활동의 윤리적, 경제적 측면을 다룹니다. 창작자의 기여를 인정하고 동의와 보상을 보장하는 것이 AI 시대의 핵심 과제라는 것입니다.

실제로 할리우드에서 나타나는 저항은 단순한 기술 거부가 아닙니다. 이는 자신의 작업에 대한 애정과 더불어 일자리 상실에 대한 두려움이 복합적으로 작용한 결과입니다. 따라서 AI 기술 도입에 있어 창작자의 권리와 보상 체계를 어떻게 설계할 것인지에 대한 논의가 필수적입니다.

웹 분야에 대한 사람들의 수요는 여전히 높지만, 업계의 재정 상황과 장기적인 경력 전망은 불안정하다는 분석이 나왔습니다. 따라서 유급 일자리를 당장 그만두는 대신, 상황이 나아질 때를 대비하여 부족한 핵심 역량에 집중하는 것이 중요합니다.

개발자들은 불확실한 환경 속에서 자신의 커리어를 지속하기 위해 당장의 이직보다는 핵심 기술 역량을 강화하는 데 초점을 맞추어야 합니다. 이는 변화하는 시장 상황에 효과적으로 대응하고 장기적인 안정성을 확보하는 데 필수적인 전략입니다.

또한, 웹 개발에서 접근성(Accessibility) 문제는 단순히 마지막에 추가하거나 자동화로 해결할 수 있는 기능이 아닙니다. 접근성은 프로젝트의 초기 단계부터 설계에 반영되어야 하는 핵심적인 요소이며, 개발 과정 전반에 걸쳐 고려되어야 하는 중요한 과제입니다.

SumUp은 여러 도메인에 걸친 시스템을 이해하기 위해 엔지니어 3~4명을 모으는 대신, 약 66개의 저장소와 조직 맥락을 연결한 AI 에이전트 시스템을 구축했습니다. 이 시스템은 복잡한 시스템 이해에 필요한 정보를 자동화하여 엔지니어들이 더 효율적으로 협업하고 시스템을 파악할 수 있도록 돕습니다.

이러한 시스템 구축을 위해 저장소들을 기술 스택이 아닌 제품과 팀 구조에 따라 묶는 방식으로 조직 지식을 재구성했습니다. 각 도메인별로 AGENTS.md 파일에 원칙과 조직 구성을 명시하여 AI 에이전트가 맥락에 기반한 이해를 할 수 있도록 했습니다.

이는 개발팀이 시스템 이해에 소요되는 수동적인 노력을 줄이고, 조직 전체의 지식을 AI를 통해 집단 지성으로 활용하는 새로운 접근 방식을 제시합니다. 결과적으로 엔지니어들은 개별 시스템에 갇히지 않고 더 넓은 조직 맥락 속에서 작업할 수 있게 됩니다.

AI 에이전트들이 상호작용하는 환경을 시뮬레이션하는 '송도 월드'가 공개되었습니다. 이 가상 도시에는 2,400여 명의 AI 시민이 거주하며, 이들이 어떤 생각을 하고 어떤 행동을 할지 브라우저를 통해 관찰할 수 있습니다.

이 시스템은 여섯 개의 주요 LLM 모델, 즉 GPT, Claude, Gemini, DeepSeek, GLM, Solar이 AI 시민 역할을 나누어 맡고 있습니다. 사용자는 별도의 가입 절차 없이 이 3D 도시 환경을 즉시 접근하여 AI 에이전트들의 활동을 직접 들여다볼 수 있습니다.

이 프로젝트는 AI 에이전트들이 한 공간에 모여 살게 했을 때 발생하는 사회적, 행동적 상호작용을 탐구하기 위해 만들어졌습니다. 이는 여러 AI 모델이 협력하거나 경쟁하는 환경에서 발생하는 복잡한 동적 변화를 관찰하고 이해하는 데 중점을 둡니다.

결과적으로 송도 월드는 여러 LLM 기반 에이전트들이 공존하는 환경에서 발생하는 복잡한 시나리오와 상호작용의 결과를 시각적으로 제공하는 실험적인 플랫폼입니다.

브랜드팀이 반복적으로 발표 자료와 디자인을 만드는 대신, 이미 내린 디자인 결정을 소프트웨어로 구현하면 새로운 아이디어와 중요한 작업에 집중할 수 있습니다. 이는 디자인 프로세스에서 발생하는 비효율성을 줄이고 팀의 생산성을 높이는 방법입니다.

Figma와 AI 기술은 누구나 디자인을 제작할 수 있게 만들었지만, 이러한 도구들은 디자인에 필요한 판단력과 안목까지 제공하지는 못합니다. 따라서 도구의 발전에도 불구하고 팀의 구조와 역할은 그대로 유지되어야 합니다.

결론적으로, 디자인 시스템을 소프트웨어 형태로 구축하여 반복 작업을 자동화하고, AI와 같은 도구를 단순한 제작 도구로 활용하는 동시에 팀의 전문적인 판단력을 유지하는 것이 중요합니다. 이는 단순히 시각적인 결과물을 만드는 것을 넘어, 브랜드 전략과 실행을 일관성 있게 관리하는 데 핵심적인 접근 방식입니다.

Bastion 서버 뒤에 있는 MySQL이나 PostgreSQL 데이터베이스를 다룰 때 터널 설정, 쿼리 실행, 덤프 및 복원, 엔진 간 이전 작업을 하나의 데스크톱 애플리케이션에서 처리할 수 있도록 개발된 도구입니다. 이 애플리케이션은 복잡한 서버 환경에서 데이터베이스 관리 및 네트워크 연결을 통합적으로 수행하고자 하는 개발자들을 위해 만들어졌습니다.

TunnelForge의 주요 기능은 SSH 터널 관리와 SQL 에디터 기능에 중점을 두고 있습니다. SSH 터널 관리 기능은 bastion 서버를 경유하거나 직접 연결하는 방식을 지원하며, RSA, Ed25519, ECDSA 키를 활용하여 그룹별 연결 상태와 키 관리를 효율적으로 표시합니다.

또한 사용자는 SQL 에디터를 통해 테이블과 컬럼을 관리할 수 있어 데이터베이스 작업의 효율성을 높일 수 있습니다. 이 도구는 데이터베이스 작업과 원격 서버 연결을 위한 복잡한 네트워크 설정 및 인증 과정을 통합하여 개발 환경에서의 데이터 이동 및 관리를 간소화하는 데 목적이 있습니다.

텐센트클라우드가 여러 사용자와 전문 에이전트를 지원하는 오픈소스 AI 비서 플랫폼을 공개했습니다. 이 플랫폼은 개인 컴퓨터나 자체 서버 환경에서 직접 운영할 수 있는 셀프 호스팅 방식으로 설계되었습니다.

이 플랫폼의 핵심은 사용자별로 작업 공간, 기억, 모델, 도구를 갖춘 전문 에이전트를 구성할 수 있다는 점입니다. 사용자는 이러한 전문 에이전트의 유용한 설정과 스킬을 다른 사용자들과 공유하여 협업할 수 있습니다.

이는 소규모 팀이나 가족 단위 사용자가 자신들의 환경에서 맞춤형 AI 비서를 구축하고 관리할 수 있게 해줍니다. 개발자들은 이 플랫폼을 통해 AI 에이전트의 개인화 및 공유 기능을 구현하는 데 활용할 수 있습니다.

herdr 플러그인은 여러 코딩 에이전트를 동시에 사용하여 작업할 때 발생하는 비효율적인 워크플로우를 개선하기 위해 개발되었습니다. 여러 에이전트를 동시에 구동하면 trust 확인이나 업데이트 제안 과정에서 작업이 중단되고, 작업 완료 후 결과를 메인 에이전트로 복사하는 과정이 번거로워지는 문제가 발생합니다.

이러한 불편함을 해소하기 위해 사용자는 작업 흐름을 간소화할 수 있는 기능을 추가했습니다. 메인 에이전트인 Codex나 Claude Code가 작업을 다른 에이전트에게 위임할 경우, 워커들은 각자 독립적인 git worktree를 옆 패널에 열어 작업할 수 있게 됩니다.

이러한 방식은 복잡한 멀티 에이전트 환경에서 각 작업의 상태를 독립적으로 관리하고 결과를 효율적으로 통합하는 데 도움을 줍니다. 결과적으로 개발자는 여러 코딩 에이전트 간의 상호작용을 보다 원활하게 관리하며 복잡한 프로젝트 작업을 진행할 수 있습니다.

여러 도메인이나 캐치올 주소의 이메일을 직접 호스팅하기 위해 maddy를 사용하고 있는 사용자들의 상황에 대한 내용입니다. 현재 이메일 호스팅을 위해 maddy를 사용하고 있지만, 일부 사소한 문제들은 사용자 측 원인인 경우가 있으며 일부는 원인을 알 수 없는 상황이 발생하고 있습니다.

이러한 환경에서 가장 큰 불편함은 iOS 기본 이메일 클라이언트와의 연결 및 메시지 처리 과정에서 발생합니다. 이는 이메일 호스팅 환경과 모바일 클라이언트 간의 연동 문제에 대한 사용자들의 실제적인 어려움을 보여줍니다.

결론적으로 이 글은 이메일 직접 호스팅 환경에서 발생하는 기술적 연결 및 호환성 문제에 대한 사용자 경험을 다루고 있습니다. 이는 이메일 서비스 구축 시 모바일 클라이언트 연동에 대한 고려 사항이 중요함을 시사합니다.

에너지 기반 모델은 특정 도메인 작업에서 유망한 특성을 보였지만, 일반적인 시나리오를 모델링하는 데는 여전히 어려움이 있습니다. 이러한 격차를 해소하기 위해 본 연구에서는 기초 언어 모델링을 위한 에너지 유도 모델(Energy-Steered Models, ESMs)을 설계했습니다. ESMs는 에너지 유도 검색을 활용하여 토큰 생성을 정제하는 에너지 스티어링과 토큰 생성을 단일 아키텍처 내에 통합합니다.

구체적으로 ESMs는 먼저 에너지 지형(energy landscape) 위에서 잠재 상태(latent state)를 최적화한 다음, 이 정제된 잠재 상태를 토큰 생성에 활용합니다. 대규모 코퍼스에 대해 이러한 에너지 유도 사전 학습을 수행함으로써, ESMs는 선호하는 토큰이 더 낮은 에너지 값에 해당되는 일반적으로 효과적인 에너지 지형을 학습합니다.

연구진은 ESMs의 스케일링 행동을 탐색하기 위해 세 가지 대규모 코퍼스에서 ESMs를 사전 학습하고 광범위한 도메인을 포괄하는 26가지 다운스트림 작업에 걸쳐 평가했습니다. 그 결과, 모델 크기와 훈련 데이터가 증가함에 따라 ESMs가 유망한 스케일링 행동을 보이며 대부분의 다운스트림 작업에서 GPT보다 우수한 성능을 보였습니다.

이러한 발견은 ESMs가 대규모 사전 학습 및 일반 목적 문제 해결을 위한 유망한 아키텍처임을 시사합니다. 연구팀은 커뮤니티가 결과를 완전히 재현하고 확장할 수 있도록 모델 가중치와 훈련 인프라를 완전히 공개했습니다.

Native NVFP4는 대규모 언어 모델(LLM)을 위한 강화 학습(RL)을 가속할 잠재력을 가지고 있지만, 분리된 학습 엔진과 샘플링 엔진 간의 안정적인 학습을 달성하는 것이 여전히 어렵습니다. 모델 가중치와 수치 형식을 일치시키는 것만으로는 일관된 정책 평가를 보장하기에 부족하며, 엔진 간 수치 실행의 중요성이 강조됩니다.

이 문제를 해결하기 위해 연구진은 miniTE라는 경량 프레임워크를 소개합니다. miniTE는 실행 진단, 엔진 간 수치 정렬, 그리고 LLM RL을 위한 효율적인 네이티브 W4A4(4비트 가중치 및 활성화) GEMM 연산을 결합합니다. 이 프레임워크는 RL 목표를 수정하지 않으면서 수치 실행 일관성을 개선하고, 네이티브 저비트 연산의 이점을 실현하기 위해 구현 오버헤드를 줄입니다.

Qwen3-30B-A3B에 대한 장기 RL 실험 결과, 이 방법은 안정적인 학습과 벤치마크 성능을 BF16에 근접하게 달성했으며, 평가 품질 면에서 기존의 Transformer Engine(TE) NVFP4를 능가했습니다. 단일 NVIDIA B300 GPU 노드에서 최적화된 학습기는 완전한 학습기 업데이트에 대해 BF16 및 TE NVFP4의 처리량보다 각각 1.39배와 1.47배 높은 33,540 토큰/초의 처리량을 달성했습니다.

연구진은 네이티브 저비트 RL을 용이하게 하기 위해 이 프레임워크, 커널, 진단 도구 및 학습 구성을 공개했습니다.

단일 악기 자동 음악 전사(AMT) 기술이 발전했음에도 불구하고, 합창 음악과 같이 소프라노, 알토, 테너, 베이스(SATB) 파트로 분리하여 전사해야 하는 경우를 해결하는 데 어려움이 있었습니다. 기존의 노트 레벨 합창 AMT는 단일 병합 트랙을 생성하여 리허설, 교육, 악보 재구성 등에 제약이 있었습니다.

이러한 한계를 극복하기 위해 연구진은 파트 인식 합창 전사(Part-aware Choral Transcription, PawCT)라는 엔드투엔드 신경망 프레임워크를 제안했습니다. PawCT는 합창 오디오에서 활성 SATB 파트를 식별하고 각 파트를 개별적인 노트 레벨 트랙으로 전사하는 최초의 방법이며, 파트별 시작점, 오프셋, 프레임 예측과 파트 존재 추정, 유니온 레벨 감독, 그리고 SATB 음역대를 기반으로 하는 범위 사전(RP) 및 내재적 선율 연속성을 추가하는 순서 연속성(OC) 확장을 결합하여 작동합니다.

On YouChorale 데이터셋에서 PawCT-RP-OC는 50ms의 시작점 허용 오차에서 0.225의 매크로 파트 인식 노트 F1 점수를 달성하며, 이는 기존 합창 기준 모델(0.165)보다 상대적으로 36.4% 향상된 결과입니다. 또한, 파트 불가지론적 변형인 PagCT는 50ms 시작점 F1 점수 0.382를 달성하여 이전 최첨단 합창 AMT 모델(0.237)보다 높은 성능을 보였습니다.

이러한 결과는 노트 전사와 보컬 파트 할당을 공동으로 모델링하는 것이 성능 향상에 큰 이점을 제공함을 입증하며, CSD 및 Cantoria 데이터셋에 대한 교차 데이터셋 평가를 통해 데이터셋 변화에 따른 성능을 추가로 검증했습니다.

비전-언어-행동(VLA) 모델은 사전 학습된 비전-언어 모델로부터 풍부한 표현을 활용하여 로봇 조작에서 강력한 일반화 능력을 보여주지만, 실제 환경에서의 배포는 반복되는 불안정한 행동으로 인해 제한됩니다. 이 연구는 VLA 모델에서 발생하는 반복적인 실패 패턴인 상태 환각(state hallucination)을 탐구합니다. 상태 환각은 실제 달성되지 않은 로봇-객체 상태가 달성된 것처럼 행동하는 현상입니다.

분석 결과, 상태 환각은 작업 관련 시각 영역에 대한 주의력이 약화되는 것과 일치하며, 희소 자동인코더(sparse autoencoders)를 통한 기계적 해석은 환각과 관련된 희소 특징(sparse features)이 이러한 실패가 발생할 때 활성화됨을 보여줍니다. 이를 바탕으로 연구진은 상태 환각 행동과 관련된 정책 지식을 선택적으로 제거하는 SOUL(Sparse feature pOlicy UnLearning) 방법을 제안했습니다.

SOUL은 환각 실패와 성공 행동에서 식별된 희소 특징을 망각 및 유지 목표로 사용하여 정책 지식을 선택적으로 제거합니다. 시뮬레이션 및 실제 환경에서의 실험 결과, 이 방법은 기존 조작 능력을 크게 저해하지 않으면서 환각된 실패를 상당히 줄이고 작업 성공률을 향상시켰습니다. 이는 해석 가능한 특징 분석이 로봇 정책에서 바람직하지 않은 지식을 선택적으로 수정하는 실용적인 기반을 제공함을 시사합니다.

추측 디코딩은 드래프터가 제안한 토큰의 병렬 검증을 통해 대규모 언어 모델 추론 속도를 높입니다. 하지만 더 큰 제안 용량이나 평균 수용 토큰(MAT)을 높인다고 해서 반드시 처리량(throughput)이 증가하는 것은 아닙니다. 검증 과정이 연속적인 접두사만 수용하기 때문에 초기 거절이 후속 예측의 효과를 제한하며, 라운드당 지연 시간이 증가하면 MAT 증가는 처리량 개선으로 이어지지 않을 수 있습니다.

이러한 한계를 극복하기 위해 연구진은 확산 드래프터의 훈련과 추론을 안내하기 위해 두 가지 상호 보완적인 분해를 사용하는 DScout을 제안합니다. 훈련 단계에서는 위치별 손실을 포함(inclusion), 가중치(weighting), 예측 손실(prediction loss)로 분해하여 감독을 접두사 수용과 일치시키고 MAT를 개선합니다.

추론 단계에서는 처리량을 MAT를 라운드당 지연 시간으로 나눈 비율로 분해하여 목표 조건화 깊이, 드래프터 깊이, 추론 블록 크기 선택을 안내함으로써 각 워크로드에 대한 고처리량 구성을 식별합니다. 이 방법은 여섯 가지 벤치마크에서 Qwen3-4B와 Qwen3-8B 모델에 대해 각각 3.84배와 4.14배의 평균 속도 향상을 달성했습니다.

DScout의 추론 구성 정책은 모델과 동시성 설정에 관계없이 고정된 구성보다 최대 9.75%의 추가 평균 속도 향상을 제공합니다. 이는 기존의 최신 기준(state-of-the-art) 대비 평균 속도 향상을 9.1%와 7.1% 개선하는 결과로 나타났습니다.

에이전트의 능력을 결과만으로 평가하는 것은 그 능력을 만들어내는 과정을 가리는 문제를 야기합니다. 특히 결과가 에이전트의 행동과 외부 조건의 변화 사이의 폐쇄 루프 상호작용을 반영하는 변화하는 환경에서는 이러한 문제가 더욱 두드러집니다. 이에 연구진은 실시간 금융 시장을 지속적인 테스트베드로 활용하는 프로세스 인식 벤치마크인 LiveMACEBench를 소개합니다.

LiveMACEBench는 다섯 가지 최첨단 LLM이 도구 사용, 영구 기억, 규칙 준수, 다중 에이전트 협업과 같은 설정에서 연속적인 궤적을 따라 작동하도록 평가합니다. 이들은 실시간 시장에서 발생한 결과뿐만 아니라 완전한 결정 추적에서 도출된 메커니즘별 진단 정보를 통해 평가됩니다. 30일간의 실시간 평가 결과, 실제 수익률은 능력별 측정치와 크게 달라지는 결과-능력 격차가 발견되었습니다.

더 나아가 추적 수준의 진단은 능력 전반에 걸쳐 뚜렷한 병목 현상을 드러내며, 메커니즘 접근, 효과적인 메커니즘 사용, 그리고 다운스트림 성능이 에이전트 능력의 상호 교환 가능한 척도가 아님을 입증합니다. LiveMACEBench는 실시간 시장을 단순한 성과 순위표가 아닌 에이전트 능력에 대한 진단 환경으로 전환하여 이러한 차이를 측정 가능하게 만듭니다.

시각 기반 파운데이션 모델(VFM)이 종단 간 자율 주행에 통합되고 있지만, 이러한 표현이 실제 주행 성능을 어떻게 개선하는지에 대한 명확한 이해는 부족했습니다. 이 질문에 답하기 위해 연구진은 플래너 아키텍처와 추론 비용을 변경하지 않는 플래너 비의존적 시각 표현 정렬 프레임워크인 ViRA를 소개했습니다.

연구 결과는 세 가지를 밝혀냈는데, 첫째, VFM이 안내하는 시각 표현은 다양한 종단 간 플래너 전반에서 주행 성능을 일관되게 향상시키며, 이는 제로샷 폐쇄 루프 평가까지 확장됩니다. 둘째, 플래닝 성능에 있어 VFM 타겟 선택이 중요하며, 다른 VFM으로 정렬하는 것이 사전 훈련된 VFM 인코더를 가진 플래너에 추가적인 이점을 제공할 수 있습니다. 셋째, 보조 지각 감독을 통해 VFM 타겟 선택에 대한 민감도가 감소하여 다섯 가지 타겟에 걸친 EPDMS 분포가 2.7점에서 0.5점으로 좁아졌으며, 비효율적인 VFM 타겟을 보완할 수 있음을 확인했습니다.

이러한 발견을 바탕으로 연구진은 보조 지각 감독 없이 훈련된 확산 기반 플래너인 ViRA-Diffusion을 개발했으며, 이는 NAVSIM v2 navtest에서 92.3 EPDMS를 달성하여 최근 방법들을 최소 1.9점 이상 능가했습니다. 결과적으로, 종단 간 자율 주행에 VFM을 통합할 때 타겟 선택과 플래너 감독을 함께 고려하는 것이 중요함을 시사합니다. 관련 연구 결과와 데모는 GitHub에서 확인할 수 있습니다.

장거리 에이전트 강화 학습으로 훈련된 언어 모델은 추론을 통해 지식을 일반화하고 목표를 달성하며 정밀한 행동을 표현할 수 있지만, 물리적 상호작용은 낮은 지연 시간의 제어를 제공하는 행동 정책의 영역으로 남아 있습니다. 이 논문은 이러한 두 모델을 연결하는 하네스인 NavGPT-3를 제시하며, 이는 운영체제와 같은 런타임을 기반으로 추론, 행동, 모니터링을 스레드로 실행하고 스케줄링하여 로봇이 갑작스러운 현실 세계 이벤트에 반응할 수 있도록 합니다.

NavGPT-3 아래에는 1928만 개의 예시로 훈련된 행동 정책인 NavGPT VLA가 있으며, 이는 장면 변화에 비례하여 코덱 할당을 통해 시각 토큰을 할당합니다. 이 행동 정책의 8B 모델만으로도 R2R-CE에서 74.51 SR을 달성하며 RxR-CE에서는 78.19 SR로 선두를 달립니다. 이 하네스를 통해 NavGPT-3는 R2R-CE에서 최고 수준인 81.51 SR을 설정했으며, 처음으로 자율 에이전트를 인간 수준으로 끌어올렸습니다.

특히 RxR-CE에서는 에피소드당 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 면에서 인간 추종자와 일치하는 결과를 보였습니다. 이는 인간이 약 3분 정도 걸리는 것에 비해 훨씬 빠른 속도입니다.

이러한 결과를 통해 도구와 행동 정책 설계가 언어 모델 추론에서 물리적 제어로 이어지는 경로를 결정하는 데 핵심적임을 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간이 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이는 최첨단 언어 모델 지능과 저수준 물리적 제어를 연결하는 인터페이스 설계가 중요함을 시사합니다.

오디오, 비디오, 텍스트가 불일치할 때 정확도만으로는 다른 출처를 획득할지 아니면 포기할지를 결정할 수 없습니다. 본 연구는 정책이 두 개의 부호가 있는 점수를 관찰하고, 비용을 지불하고 세 번째 점수를 요청하거나 포기할 수 있는 통제된 세 점수 벤치마크를 통해 이러한 선택을 연구했습니다.

연구 결과에 따르면, 포기(abstention)는 특정 모호성 메커니즘 하나에 대해서만 정확하며 혼합된 손상(mixed corruption) 하에서는 불이익을 받습니다. 임계값 정책(threshold policy)은 항상 요청하는 결정과 비교하여 더 적은 요청으로 일치시키며, 이 정책의 이점은 모호성에 할당된 보상에 따라 달라집니다. 부분적으로 보유된 합성 분할에서 임계값 정책은 83개의 시드에 걸쳐 0.789 +/- 0.006의 목표 결정 정확도와 0.481 +/- 0.014의 유틸리티를 달성했습니다.

세 점수 다수 참조(majority reference)는 0.626 +/- 0.008과 0.252 +/- 0.016의 성능을 보였지만 더 많은 정보를 사용했습니다. 또한, 예산이 제한된 테스트에서 훈련 데이터만 사용하는 값 선택기(train-only value selector)는 10%와 25% 예산에서 무쿼리 및 매치된 무작위 정책보다 유틸리티를 개선했습니다. 이는 선택 가치가 예산과 관찰된 쌍의 순위에 따라 달라진다는 것을 보여줍니다.

추가적으로, 중앙 시간 설정에서 전체 추적 제어(full-trace controls)는 신경 모델을 일치시키지만 위치 교란(position perturbations)은 이를 분리시킵니다. 보유된 배우 감정 클립에서는 8프레임 융합이 두 인코더 쌍에 대해 반대 부호의 정확도 차이를 보였으며, 매치된 요청 라우팅 이득은 작고 불확실합니다. 이러한 결과는 전체 양식 정확도와 사전 요청 선택 가치를 분리하며, 선택 가치가 예산과 관찰된 쌍의 순위에 따라 달라짐을 시사합니다.