읽을 가치가 있는 기사만, 짧고 또렷하게.

1994년부터 1997년까지 운영된 Sanity's Edge는 전화 통신을 통해 접속하는 음성 BBS였습니다. 이 시스템은 탬파에 위치한 가정에서 286 PC를 기반으로 운영되었으며, 모뎀이나 화면 없이 전화기를 통해 키 입력을 하고 음성을 주고받는 독특한 인터페이스를 제공했습니다. 이 BBS는 26,000건 이상의 통화와 46,000건 이상의 음성 메시지를 수집하며 당시 커뮤니티에 큰 영향을 미쳤습니다.

BBS는 Max Rathbone이 BigMouth 보이스 카드와 SDK를 활용하여 개발했으며, 시스템의 백엔드 프로그래밍과 메뉴 구조 설계 등 많은 부분이 직접 코딩되었습니다. 당시 시스템은 독자적인 포맷으로 오디오를 저장했기 때문에, 이 기록을 보존하는 데 기술적인 난관이 있었습니다.

2026년 2월, 이 파일들은 AI 기술을 통해 복원되었습니다. ChatGPT 3, Sonnet 4, Claude Sonnet 5.5 모델과 Reverse Engineer Anything(REA) 프로젝트를 사용하여 시스템의 코드를 해독하고 오디오 코덱을 표준 WAV 형식으로 디코딩하는 데 성공했습니다. 이 과정을 통해 수십 년간 보존되어 온 원본 음성 기록들이 처음으로 재생 가능해졌습니다.

이러한 복원 작업은 과거의 개발 환경과 데이터 보존 방식에 대한 흥미로운 사례를 제공하며, AI가 레거시 시스템의 복잡한 코드를 분석하고 보존하는 데 기여할 수 있음을 보여줍니다.

아티스트와 디자이너, 영화 제작자를 위해 구도, 인물 자세, 카메라 위치를 직접 설정하고 AI로 장면을 생성할 수 있는 오픈소스 제작 도구가 공개되었습니다. 이 도구는 사용자가 원하는 시각적 구성을 직접 제어하여 AI 이미지 및 영상을 제작할 수 있도록 지원합니다.

2D 캔버스 기능에서는 이미지 레이어와 배경을 제거하고 드로잉을 조합할 수 있으며, 마스크와 인페인팅 기능을 활용하여 원하는 영역만 정교하게 수정할 수 있습니다. 이는 복잡한 장면 구성에서 특정 요소만 선택적으로 편집하고 보완하는 데 유용합니다.

또한 3D 편집기 기능도 제공되어 2D뿐만 아니라 3차원 공간에서의 장면 구성 작업도 가능하게 합니다. 이러한 도구는 전문적인 제작자들이 AI 기술을 활용하여 창의적인 장면을 직접 구성하고 결과물을 만들어낼 수 있도록 돕는 데 중점을 두고 있습니다.

AI를 활용하면서도 엔지니어링 역량을 유지하는 작업 방식인 브레인 샌드위치(Brain Sandwich)에 대해 소개합니다. 이 방식은 ‘직접 사고하기 → AI 활용하기 → 다시 직접 사고하기’의 순서로 진행하여 AI를 충분히 활용하면서도 개발자의 사고 능력이 퇴화하지 않도록 하는 데 중점을 둡니다.

이 작업 방식은 AI를 단순한 도구로 사용하는 것을 넘어, 개발자가 문제와 맥락을 깊이 이해하고 최종적인 판단을 내리는 과정을 포함합니다. 특히 에이전트에게 구현을 맡기기 전에 문제와 맥락을 먼저 충분히 이해해야 한다는 점이 핵심입니다.

따라서 에이전트에게 작업을 위임하기 위해서는 완전한 구현 계획을 세우고 문제의 배경을 명확히 파악하는 과정이 필수적입니다. 이러한 사전 이해 과정을 거쳐야만 AI의 도움을 효과적으로 활용하고 엔지니어링 역량을 보존할 수 있습니다.

vibecoding 태그의 적용 범위가 지나치게 넓어지면서 게시물을 구별하는 신호로서의 의미를 상실하고 커뮤니티에 해를 끼치고 있습니다. 현재 이 태그는 단순히 특정 코딩 스타일을 나타내는 것을 넘어 LLM 전반과 LLM으로 만들어진 프로젝트에 대한 언급까지 포함하게 되었습니다.

LLM을 활용하는 소프트웨어 엔지니어링 문화가 성숙해짐에 따라 이러한 태그의 원래 의미가 흐려졌습니다. 이는 태그가 본래 의도했던 목적을 잃고 혼란을 야기하며 커뮤니티 내에서 혼란을 초래하고 있습니다.

결과적으로 vibecoding 태그는 더 이상 게시물을 명확하게 구분하는 효과적인 신호가 되지 못하며, LLM 기반 개발 환경에서 태그 사용에 대한 새로운 기준과 논의가 필요합니다.

결합 임베딩 예측 아키텍처(JEPA)에서 인코더와 예측기가 함께 학습하여 다음 관측값의 표현을 예측하는 방식으로 표현을 최소화합니다. 하지만 현재 관측값과 다음 관측값의 표현이 모두 학습되기 때문에 어떤 특징들을 포함할지 명확하지 않습니다. 기존의 특징 선택 연구는 특징들의 개별 예측 가능성에 초점을 맞추어 신호등과 같은 예측 불가능한 특징이 표현에 포함되지 않을 것이라는 우려를 제기했습니다.

그러나 예측 오류는 특징들 간의 관계에도 영향을 받습니다. 예를 들어 신호등의 색깔은 교통 흐름을 예측하는 데 도움을 주므로 특징들 간의 관계를 고려해야 합니다. 이에 본 연구는 이러한 관계를 설명하는 예측 폐쇄(predictive closure) 특성을 제안합니다. JEPA 학습 목표를 재정식화함으로써 특징 선택이 특징 집합의 속성에 따라 달라진다는 것을 보였습니다.

실험 결과는 예측 불가능한 특징들이 다른 특징들을 예측하는 데 도움을 줄 때 더 잘 표현될 수 있음을 보여줍니다. 또한 한 특징의 예측 관계를 변경하는 것이 다른 특징들의 표현 품질에 영향을 미칠 수 있음을 입증했습니다. 이는 특징 선택을 유도하는 방식에 대한 시사점을 제공하며, 보조 목표나 부가 정보로 특정 특징을 제공함으로써 다른 특징의 표현을 간접적으로 강화할 수 있음을 의미합니다.

최근 옴니 LLM(OLLM)은 오디오-비주얼 추론에서 뛰어난 능력을 보였으나, 교차 모달 환각(cross-modal hallucinations) 문제는 여전히 주요 도전 과제로 남아 있습니다. 기존의 환각 완화 방법들은 출력 수준에서만 작동하여 융합된 표현 내의 근거 증거와 학습된 사전 지식의 얽힘을 간과했습니다.

이에 연구진은 출력 수준 조작에서 벗어나 충돌 조건에 기반한 표현 재조정으로 환각 완화를 전환하는 학습 불필요 프레임워크인 Omni-Woodpecker(OWP)를 제안했습니다. OWP는 먼저 상보적인 모달리티별 시점으로부터 교차 모달 충돌을 식별하고, 직교 분해(orthogonal decomposition)를 사용하여 은닉 상태 내에서 근거 증거와 경쟁하는 사전 지식을 분리합니다. 마지막으로 OWP는 디코딩 전에 오도하는 사전 지식을 억제하고 무시된 증거를 복원함으로써 융합된 표현을 적응적으로 재조정합니다.

OWP는 광범위한 실험을 통해 효과성과 강력한 교차 아키텍처 일반화 능력을 입증했습니다. Qwen2.5-Omni-7B를 백본으로 사용했을 때, OWP는 CMM과 AVHBench에서 각각 12.9점과 8.6점의 성능 향상을 보였으며, 네 가지 일반적인 OLLM 추론 벤치마크 전반에서 0.67점에서 2.25점까지 꾸준한 이득을 달성했습니다. 또한 OWP는 VideoLLaMA2-AV로도 효과적으로 일반화되어 동일 벤치마크에서 4.6점과 3.9점의 성능 향상을 기록했습니다.

이 연구는 OLLM의 교차 모달 추론 문제를 해결하기 위해 표현 수준에서 충돌을 관리하는 새로운 접근 방식을 제시하며, 관련 코드는 공개되어 있습니다.

언어 모델 에이전트가 더 능숙해지면서 인간의 도움 없이도 작업을 수행할 수 있는 능력이 커지고 있습니다. 인간 파트너에 대한 의존도가 감소하는 것을 협업의 실패로 해석하기 쉽지만, 이는 오히려 적절한 노동 분배일 수 있으며 인간의 개입률만으로는 이를 구분하기 어렵습니다. 연구진은 에이전트와 사람을 공동 목표 아래 두면서 누가 우위를 점하는지(인간 우위, 무우위, 에이전트 우위)를 변화시키며 이 현상을 체계적으로 분석했습니다.

이를 위해 연구진은 에이전트와 인간이 공동 목표를 달성하는 데 필요한 턴 수를 최소화하는 공유 제어 미로(shared-control maze)를 도입했습니다. 이 미로에서 에이전트는 자신의 행동과 인간에게 이동을 넘기는 것을 결정하며, 초기 배치는 인간의 최단 경로 우위를 설정합니다. 이 실험은 GPT~5.6~Sol, Command~A+, Qwen~3.8~27B, Command~R 등 네 가지 모델을 평가하며 인간 참가자들과 함께 세 가지 우위 조건에서 공동 플레이를 진행했습니다.

분석 결과, 단독 수행 능력이 강한 모델일수록 선택적이고 경로 조건화된 인간 개입이 나타났습니다. 인간이 우위를 갖지 않을 때 모델은 거의 예외 없이 스스로 미로를 해결하는 반면, 인간의 경로가 더 짧을 때 초기 결정의 약 80%를 인간에게 맡기는 경향을 보였습니다. 특히 단독 수행 능력이 현저히 약한 Command R 모델은 이러한 선택적 개입 특성을 보이지 않았습니다.

LLM 라우팅은 다양한 작업에 걸쳐 이질적인 언어 모델들을 동적으로 선택하고 조정하는 과정입니다. 하지만 기존 접근 방식들은 단일 라운드, 다중 라운드 또는 에이전트 라우팅과 같은 미리 정의된 실행 패러다임에 기반하고 있어, 모델 호출의 조직 방식을 고정시키고 다양한 쿼리 요구 사항에 대한 적응성을 제한합니다.

이에 연구진은 이러한 라우팅 모드를 단일 LLM 정책 내에 통합하는 통일된 라우팅 프레임워크인 RouteWeaver를 제안했습니다. RouteWeaver는 어떤 모드를 사용할지 그리고 해당 모드 내에서 모델을 어떻게 선택할지를 공동으로 학습합니다. 또한 모드 선택과 모드 내 실행을 공동으로 최적화하기 위해 COMET-GRPO(Coordinated Mode-Execution Training)를 개발하여, 궤적 수준의 이점(trajectory-level advantage)을 모드 선택과 모드 내 실행에 대한 별도의 신호로 분리함으로써 각 결정 수준에 대한 보다 목표 지향적인 귀인(credit assignment)을 가능하게 했습니다.

추가로 도입된 점진적 탐색(progressive exploration)은 훈련을 외부에서 할당된 모드에서 자율적인 선택으로 점진적으로 전환하여, 라우터가 모드를 사용하는 시점을 결정하기 전에 각 모드를 실행하는 방법을 먼저 학습하도록 합니다. 이 RouteWeaver는 수학, 코딩, 지식, 논리 추론, 사실 회상 등 다섯 가지 영역에서 평가되었으며, 평균 정확도 61.4%를 달성하고 가장 강력한 기준선 대비 11.03%의 상대적 개선을 보였습니다.

실험 결과에 따르면, 점진적 탐색과 COMET-GRPO 모두 적응형 라우팅에 중요하며, 점진적 탐색이 없으면 라우팅 정책은 완전히 단일 라운드 실행으로 붕괴된다는 점이 확인되었습니다. 이는 적응형 라우팅을 위해서는 모드 선택과 실행을 분리하고 점진적인 탐색을 통해 자율적인 학습을 유도하는 것이 필수적임을 시사합니다.

음성 에이전트가 도구 사용 중일 때 사용자가 말하는 동안 기다리게 되는 문제가 제기되었습니다. 특히 청크 기반 또는 업데이트 중단 생성 방식은 도구 호출의 인수가 완성되기 전에 호출을 잘라내어 계산 시간을 음성 업데이트와 결합시키고, 미리 수행할 수 있는 유용한 작업을 제한합니다.

이러한 문제를 해결하기 위해 새로운 접근 방식인 하트비트 씽킹(Heartbeat Thinking)이 도입되었습니다. 하트비트 씽킹은 새로운 Thinker 호출을 통해 업데이트된 입력을 처리하는 동시에 진행 중인 호출과 할당된 도구가 완료될 수 있도록 허용합니다. 주기적인 호출은 최신 부분 스크립트와 완료된 추론 및 도구 결과의 공유 기록을 읽어, 누락된 인수를 해결하고 종속 호출을 시작할 수 있게 하여 음성 업데이트 전반에 걸쳐 준비 과정을 진행할 수 있도록 합니다.

SpeechFCEval, FDBench v3, AudioCRAG 등 여러 벤치마크에서 하트비트 씽킹은 SHANKS 스타일의 윈도우 기반 기준선 대비 집계적인 추측 도구 커버리지 또는 검색 재사용을 개선했습니다. 특히 FDBench v3에서는 도구 커버리지를 16퍼센트 포인트 증가시키고 평균 최종 응답 지연 시간을 36.4퍼센트 감소시켰습니다.

이 결과는 음성 중 진행 중인 계산을 보존하는 하트비트 씽킹 패러다임이 청취 시간을 더 빠르고 유능한 음성 에이전트 응답을 위한 재사용 가능한 준비 과정으로 전환할 수 있음을 보여줍니다.

조건부 텍스트 음성 합성(TTS) 모델의 어휘를 확장하려면 일반적으로 쌍으로 이루어진 오디오 데이터로 광범위한 미세 조정을 필요로 하며, 이는 저자원 및 다국어 적응에 있어 주요 병목 현상을 야기합니다. 이러한 문제를 해결하기 위해 본 논문은 제로 오디오 초기화 방법인 SEAM을 제안합니다. SEAM은 알려진 부분 토큰으로부터 보이지 않는 토큰에 대한 임베딩을 구성하는 방식으로 작동합니다.

SEAM은 표준 풀링 전략과 달리 순차적 구조를 무시하지 않고 스펙트럼 필터를 적용하여 시간적 음성학적 순서를 보존하며, 닫힌 형태의 리지 회귀를 사용하여 새로운 임베딩을 사전 학습된 조건부 다양체에 정렬합니다. 이 접근 방식은 임베딩을 학습할 때 필요한 데이터 양을 획기적으로 줄여줍니다.

세 가지 언어와 두 가지 TTS 아키텍처에 걸쳐 SEAM은 기준 성능에 근접하거나 일치하는 결과를 달성하며, 무작위 초기화 및 평균 풀링 방식에 비해 샘플 복잡도를 75% 감소시킵니다. 이는 SEAM이 저자원 음성 합성에서 어휘 확장을 위한 경량화되고 재현 가능하며 이론적으로 근거가 있는 해결책을 제공함을 의미합니다.

딥 검색 에이전트의 실제 웹 환경에서의 종단 간 연구 수행 능력에 대한 평가가 부족하다는 문제점을 해결하기 위해 새로운 평가 프레임워크가 제시되었습니다. 실제 웹 정보는 다양한 출처, 양식, 모달리티에 분산되어 있으며 복잡한 상호작용 메커니즘을 요구하기 때문에 에이전트가 실행 중에 관련 증거를 자율적으로 검색하고 접근하며 통합해야 합니다.

이러한 격차를 해소하기 위해 실시간 공개 웹에서 다단계 심층 검색 능력을 평가하도록 설계된 OpenDS 태스크가 도입되었습니다. 이 태스크는 에이전트가 웹 검색, 브라우저 상호작용, 증거 처리 과정을 통해 여러 독립적인 출처에서 관련 증거를 발견하고 연결하여 최종적인 사실적 답변을 도출하는 능력을 요구합니다.

이 태스크를 기반으로 200개의 도전적인 과제를 포함하는 벤치마크인 OpenDS-World가 구축되었으며, 증거의 유효성과 답변의 고유성을 보장하기 위해 독립적인 인간 검증이 포함되었습니다. 12개의 최첨단 모델을 평가한 결과, 최고 성능 모델은 39.0%의 정확도를 달성했지만, 1,000번의 독립적인 시도에 대한 인간 평가에서는 21.1%의 정확도가 나타났습니다.

또한 도구 사용, 검색 비용, 종료 행동, 실패 복구에 대한 추가 분석을 통해 모델 간 연구 전략에 상당한 차이가 있음을 확인했으며, 도구 조정 및 장기 검색 관리에서 지속적인 어려움이 있음을 발견했습니다. OpenDS-World는 실제 공개 웹 환경에서 에이전트의 자율적인 심층 검색 능력을 체계적으로 평가하고 발전시키기 위한 통합된 평가 플랫폼을 제공합니다.

의료 워크플로우는 여러 상호 의존적인 분석을 필요로 하지만, 기존의 전문 모델이나 일반 모델은 이러한 분석을 조정하도록 설계되지 않았습니다. 이에 따라 본 연구는 시각-언어 플래너와 18개의 선도 전문 모델을 결합한 멀티모달 의료 도구 사용 에이전트인 MMedAgent-Plus를 소개합니다. 이 에이전트는 통일된 도구 인터페이스를 통해 전문 모델을 선택하고 순차적으로 실행하며, 그 결과에 근거하여 응답을 합성합니다.

MMedAgent-Plus는 단일 및 다중 도구 상호 작용을 포괄하는 32개의 공개 의료 벤치마크에서 208,928개의 샘플로 명령어 튜닝되었으며, 도구 조정, 응답 합성, 종단 간 실행에 대해 별도로 평가되었습니다. 이 에이전트는 단일 도구 다중 라운드 설정에서 91.0%, 다중 도구 다중 라운드 설정에서 98.1%, 다중 도구 단일 라운드 설정에서 80.7%의 도구 호출 정확도를 달성했습니다.

또한, 사전 제공된 도구 출력 없이 종단 간 실행을 수행할 때 MMedAgent-Plus는 7개 작업에 걸친 350개 평가 사례 중 90.6%에서 필요한 전문 모델을 정확하게 호출합니다. 도구 출력이 정확할 경우, MMedAgent-Plus는 600개의 평가 샘플에서 충실도, 완전성, 간결성 측면에서 15점 만점에 14.4점에서 14.8점의 점수를 얻었습니다.

최종 답변 정확도는 0.98에 도달하여 전용 선도 전문 모델과 일치하며 가장 강력한 기준선(0.28)을 능가합니다. 이는 복잡한 의료 분석 워크플로우에서 멀티모달 에이전트가 어떻게 효과적으로 전문 지식을 조정하고 실행할 수 있는지 보여줍니다.

LLM 에이전트가 정답을 계산하더라도 오답을 도출할 수 있다는 연구 결과가 나왔습니다. 에이전트가 긴 도구 출력을 컨텍스트 창 밖으로 보관하고 필요할 때 검색하거나 읽는 방식으로 관리할 때 정확도가 어떻게 변화하는지 실제 과학 도구인 PHREEQC를 사용하여 분석했습니다.

PHREEQC는 USGS의 널리 사용되는 지구화학 시뮬레이터로, 보고서가 846.8k자까지 도달하며 모든 출력값이 추적 가능하여 결정론적입니다. 에이전트들은 이 시뮬레이터를 사용하여 158개의 실행 검증된 객관식 문제를 해결했습니다. 에이전트가 보고서를 컨텍스트 내에서 읽는 대신 섹션 인덱스를 통해 읽을 때, GPT-5.1과 GPT-5.2는 각각 11.3점과 7.9점의 정확도를 잃었지만, Claude Opus 4.6과 Claude Sonnet 4.6은 감지할 수 있는 비용이 없었습니다.

또한, 검색을 통해 보고서를 건너뛰고 자체 고정밀 출력 파일에서 답변을 얻거나 반올림 오류를 범하는 현상, 즉 증거 대체(evidence substitution)가 관찰되었습니다. 시뮬레이션이 고정된 상태에서 검색을 사용할 경우 GPT-5.2는 9.4점의 정확도를 잃었습니다. 그러나 권위 있는 출력을 명시함으로써 정확도는 세 GPT 모델에서 단순 검색 대비 6.3점에서 7.9점까지 향상되었습니다.

결론적으로 에이전트 하네스 내의 컨텍스트 관리 선택은 최종 정확도뿐만 아니라 정확도가 손실되는 지점을 기준으로 판단되어야 합니다.

에이전트는 작업 완료와 합성 학습 데이터 필터링 시 출력물을 신뢰할 수 있게 검증할 방법이 필요합니다. 연구진은 에이전트가 주어진 지침과 환경을 바탕으로 실행 가능한 검증기(verifier)를 작성하도록 하여, 유효한 해답은 수용하고 유효하지 않은 해답은 거부하도록 하는 방법을 연구했습니다.

이를 위해 툴 호출, 상태 기반, 코드 검증을 포괄하는 여섯 가지 에이전트 벤치마크에서 222개의 작업과 대체 유효 해답 및 공격을 포함하는 4,993개의 숨겨진 테스트 케이스를 가진 VerifierBench를 도입했습니다. 또한, 소스 검증기와 테스트 세트를 검사하는 여섯 단계 감사 절차인 Verifier4Verifier(V4V)를 제시하여 검증기의 신뢰성을 평가합니다.

19개 모델을 대상으로 한 분석 결과, 생성된 검증기들은 유효한 해답을 수용하는 것보다 유효하지 않은 해답을 더 확실하게 거부하는 경향을 보였습니다. 그러나 이러한 강점은 지나치게 제한적인 검증을 가릴 수 있으며, 분석된 기록에서 대부분의 오거부(false rejections)는 특정 작업에 대해 테스트된 해답을 전혀 수용하지 않는 검증기에서 발생했습니다.

이러한 오류는 에이전트가 검증기의 잘못된 가정을 공유하는 해답을 테스트하거나, 어떤 올바른 해답이 통과하는지 확인하지 않고 검증기를 제출함으로써 자기 테스트를 통과하기 때문에 발견되지 않았습니다. 따라서 연구 결과는 검증기가 올바른 해답을 수용하는지뿐만 아니라 작업이 허용하는 다른 해답들을 수용하는지 모두 테스트해야 함을 시사합니다.

공간 지능을 구현하기 위해서는 에이전트가 시각적 증거를 능동적으로 획득하고 관찰을 통합하여 3차원 세계의 일관된 표현을 구축해야 합니다. 하지만 공간 질문 응답은 모델이 자율적인 탐색을 통해 정확한 측정 맵을 구성할 수 있는지에 대한 충분한 증거를 제공하지 못하고 있습니다. 이러한 한계를 극복하기 위해 본 연구는 비전-언어 모델(VLM) 에이전트의 능동적인 객체 수준 3차원 매핑을 평가하기 위한 벤치마크인 SpatialScout을 소개합니다.

SpatialScout은 80개의 다양한 실내 장면과 3,140개의 목표 객체를 포함하며, 에이전트가 객체 목록, RGB 관찰, 카메라 보정 및 카메라 자세를 바탕으로 각 장면을 탐색하고 공유 좌표계 내에서 객체 중심을 추정하도록 설계되었습니다. 이 작업은 제한된 상호작용 예산 하에서 시점 선택, 교차 시점 연관, 기하학적 추정 및 맵 수정 능력을 조정하는 것을 요구합니다.

평가는 객체 규모 중첩 점수를 통해 위치 정확도와 목표 커버리지를 동시에 측정하며 누락된 예측에 페널티를 부여합니다. 실험 결과, 가장 강력하게 평가된 모델인 Claude Opus 5.5는 평균 중첩 점수 41.71%를 달성했으며, 목표의 47.23%가 교차-합집합(IoU) 임계값 0.5를 초과했지만, 0.9를 초과한 것은 3.25%에 불과했습니다. 이는 거친 객체 레이아웃을 복구하는 것과 완전하고 정확한 측정 맵을 구성하는 것 사이에 상당한 격차가 있음을 보여줍니다.

SpatialScout은 능동적 지각을 통해 신뢰할 수 있는 3차원 공간 표현을 구축하는 에이전트를 개발하기 위한 정량적인 테스트베드를 제공합니다. 관련 코드는 GitHub에서 확인할 수 있습니다.

범용 멀티모달 모델들이 신체 내 조작(embodied manipulation) 능력에서 광범위한 역량을 보이며 강력한 공간 지각 능력을 갖추고 있음이 분석되었습니다. 특히 GPT-6 Astra와 Claude Opus 5.5 같은 모델들은 시각적 방해 속에서도 작업 관련 개체와 상호작용할 위치를 판단할 수 있는 공간 지각 능력을 보여줍니다. 연구진은 이러한 공간 지각을 강화하여 일반적인 신체 내 작동의 지각적 기반을 공고히하고자 시각적 접지(visual grounding)를 확장하는 것을 목표로 삼았습니다.

이를 위해 연구팀은 로봇 조작 기록과 다양한 출처의 보완적인 시각 데이터를 결합하는 통합 데이터 파이프라인을 개발했습니다. 이 파이프라인은 로봇 기록을 자동으로 주석 처리한 후, 이를 검증 가능한 접지 감독(verifiable grounding supervision)으로 변환하여 데이터셋을 구축합니다. 이 과정을 통해 Qwen3.5-9B 모델을 약 150만 개의 샘플로 미세 조정하여 ACE-Brain-0.6을 얻었습니다.

ACE-Brain-0.6 모델은 GPT-6 Astra를 포함한 7개의 공개 접지 벤치마크 중 4개에서 우수한 성능을 보였으며, 전체 평균 점수는 Astra의 73.68점 대비 75.41점을 기록했습니다. 또한, 고정된 Qwen3.5-9B 미세 조정 설정 하에서 데이터 공개가 진행될수록 훈련 컬렉션이 더 넓은 접지 시나리오를 포괄하게 되면서 집계된 접지 성능이 꾸준히 향상되는 추세를 보였습니다.

이러한 결과는 다양한 출처로부터 검증 가능한 접지 감독을 확장하는 것이 오픈 소스 9B 모델의 공간 지각 능력을 강화하여 일반적인 신체 내 작동에 필수적인 기반을 마련할 수 있음을 시사합니다.

에이전트 학습은 인간 데이터로부터 학습하는 방식에서 벗어나 실제 세계와의 상호작용을 통해 학습하는 방향으로 변화하고 있습니다. 하지만 이러한 학습을 실제 컴퓨터 시스템에 확장하는 것은 어려우며 상당한 보안 위험을 초래할 수 있습니다. 이에 연구진은 일반 컴퓨터 사용 에이전트(CUA)를 훈련하기 위한 제어 가능한 환경과 작업을 합성하는 확장 가능한 파이프라인인 에이전트 월드 모델 인 와일드(WildAWM)를 제안했습니다.

WildAWM은 기존 접근 방식이 단일 에이전트 상호작용 인터페이스에 특화된 것과 달리, 그래픽 사용자 인터페이스, 모델 컨텍스트 프로토콜 서비스, 명령줄 인터페이스를 공동으로 지원하는 실행 가능한 환경을 구축합니다. 이를 통해 에이전트는 시각적 상호작용, 도구 사용, 코드 실행을 유연하게 결합할 수 있게 됩니다. 이 시스템은 독점적인 최첨단 모델 없이도 고품질의 컴퓨터 사용 환경을 생성할 수 있음을 입증하며, 완전히 오픈 소스 모델로 구동됩니다.

또한, 작업 합성을 위해 해결 가능성, 충분한 난이도 유지, 신뢰할 수 있는 검증을 보장하는 실행 기반 품질 게이트를 도입했습니다. 이 게이트는 이질적인 에이전트 실행 결과, 교차 심사 일관성 확인, 반사실적 판단 견고성 탐색을 결합하여 환경 생성의 어려움을 극복합니다. 이 파이프라인은 100 에이전트 단계 이상이 필요한 장기 환경-작업 쌍 341개를 합성했으며, 이는 GPT-6-Astra조차도 60%만 해결할 수 있는 난이도를 포함합니다.

연구진은 이 합성된 환경에서 서로 다른 크기의 두 Qwen 모델을 훈련시켰는데, 이 모델들은 웹, 클로, 컴퓨터 사용 에이전트를 아우르는 8가지 분포 외(out-of-distribution) 벤치마크에서 상당한 성능 향상을 달성했습니다. 이는 WildAWM의 합성된 환경에서 학습하는 것이 보지 못했던 컴퓨터 사용 작업에 광범위하게 일반화됨을 보여줍니다. 관련 코드는 공개되어 있습니다.

협력하는 언어 모델 에이전트는 가중치 업데이트 없이 재사용 가능한 기술을 수정하여 성능을 개선할 수 있지만, 이 과정에서 보상(reward)이 책임 있는 에이전트와 기술에 정확히 귀속되어야 합니다. 기존 방법들은 각 궤적에 존재하는 기술을 평가할 뿐 책임 소재를 명확히 하지 못하여, 성공적인 실행에서 유해한 기술이 긍정적인 점수를 얻는 문제가 있었습니다.

본 논문은 이러한 문제를 해결하기 위해 그룹 상대적 기술 진화(Group-Relative Skill Evolution, GRSE)를 제안합니다. GRSE는 GRPO에서 영감을 받아 행동적 점수를 비교함으로써 책임 있는 에이전트-기술 쌍에 행동적 점수를 할당하며, 실패에 대한 구조화된 진단을 포함합니다. GRSE는 동일한 기술 라이브러리 하에서 각 질문을 여러 번 실행하고 실행 결과를 대조하여 점수를 부여함으로써 책임 소재를 명확히 합니다.

실제 실험 결과, GRSE는 두 개의 오픈 웨이트 액터가 참여하는 HotpotQA 및 LoCoMo 작업에서 가장 가까운 이전 방법인 MASkills보다 우수한 성능을 보였습니다. 특히 다단계 질문에서 최대 +6.7 및 +3.2 F1 점수를 얻었으며, 이는 증거 없이 답만 제공하는 방식이 아닌 더 잘 근거 잡힌 검색에 기반한 결과입니다.

또한 GRSE는 라이브러리가 손상되었을 때도 견고함을 보입니다. 유해한 기술이 심어진 라이브러리에서 시작하더라도 모든 심어진 기술에 올바른 부호를 부여하고 깨끗한 라이브러리의 점수를 회복하는 데 성공했습니다. 반면 MASkills는 두 가지 기술을 잘못 귀속시키고 시작 점수보다 낮은 결과를 보였습니다.

확산 기반 비디오 매팅(video matting)은 인터넷 규모 사전 학습에서 얻은 비디오 확산 사전 지식을 활용하여 제한된 합성 데이터로부터 강력한 제로샷 일반화를 달성하는 선도적인 접근 방식으로 부상했습니다. 하지만 이러한 확산 백본의 높은 연산량 때문에 추론이 6장에서 24프레임으로 제한되어 있어 일반적인 비디오는 여러 청크로 나뉘게 됩니다. 기존 방법들은 각 청크를 대략적인 마스크 가이드로부터 독립적으로 매팅하기 때문에 청크 경계에서 일관성을 유지하지 못하여 가장자리가 깜박이고 투명도가 불연속해지는 문제가 발생합니다.

이에 연구진은 두 가지 아이디어를 기반으로 마스크 기반 확산 매팅 프레임워크를 제안했습니다. 첫째, RGB 조건화와 마스크 조건화를 분리된 토큰 스트림으로 표현하고 전체 시공간 자기 주의(spatio-temporal self-attention)를 통해 상호작용하게 하여 미세한 RGB 질감과 대략적인 마스크 레이아웃을 적응적으로 결합합니다. 둘째, 프레임별 조건화 인터페이스 역할을 하는 학습 가능한 임베딩인 preserve 토큰과 refine 토큰을 제안합니다.

이러한 토큰을 통해 이미 생성된 매팅을 청크 경계를 넘어 전파하여 국소적인 시간적 일관성을 확보하며, 모든 청크에 전역적으로 공유된 참조 앵커를 추가하여 긴 시퀀스에서 오류가 누적되는 것을 방지합니다. 그 결과, 본 프레임워크는 표준 비디오 매팅 벤치마크와 실제 장시간 영상에서 이전 확산 기반 방법들보다 미세한 디테일 정확도와 시간적 일관성 모두에서 우수한 성능을 보이며, 긴 비디오에서 청크 경계를 넘어 일관성을 유지하는 독특한 능력을 입증했습니다.

최신 언어 모델들은 단일 프롬프트 내에서 여러 작업을 처리하도록 요구받고 있으며, 이 과정에서 각 작업을 정확하게 해결하고 결과를 일관성 있게 통합해야 합니다. 본 논문은 이러한 작업 구성 과정에서 모델이 개별적으로는 안정적으로 해결할 수 있음에도 불구하고 오류를 훨씬 더 많이 발생시키는 근본적인 한계를 밝혀냈습니다. 이러한 성능 저하는 단순히 독립적인 오류의 누적으로 설명되지 않으며, 대신 내재된 사고 예산(implicit thinking budget)이라는 개념이 이 현상을 설명한다고 제시합니다.

특히, 작업이 구성될 때 모델은 전체 시퀀스가 컨텍스트 창 내에 있더라도 개별 작업당 사용하는 토큰 수가 고립된 상태보다 현저히 적다는 점을 발견했습니다. 이는 개별적으로는 덜 취약한 작업이 더 많은 추론을 받고 컴퓨팅 자원을 낭비하는 것과 대조적입니다.

연구진은 이러한 내재된 예산을 활용하여 작업의 취약성에 따라 그룹화함으로써 이를 조작할 수 있다고 주장합니다. 이를 통해 수학 및 언어 작업 전반에 걸쳐 정확도를 유지하면서 토큰 사용량을 43%까지 줄일 수 있는 방법을 제시합니다.