읽을 가치가 있는 기사만, 짧고 또렷하게.

텍스트를 3차원(3D)으로 생성하는 기술이 발전하고 있지만, 낮은 추론 비용으로 높은 기하학적 충실도(geometric fidelity)를 달성하는 것은 여전히 어려운 과제입니다. 기존의 텍스트-3D 생성 방법들은 이산 형태 토큰을 순차적으로 디코딩하거나 확산 모델 또는 흐름 일치 모델을 사용하여 전역 3D 표현을 반복적으로 정제하는 방식을 사용합니다. 그러나 순차적 디코딩 방식은 오류를 수정할 수 없으며, 확산 및 흐름 일치 모델은 전체 표현을 반복적으로 처리하기 때문에 고품질 생성에 점점 더 많은 비용이 발생합니다.

이러한 문제점을 해결하기 위해 본 논문은 블록 단위의 확산 프레임워크인 Block3D를 제안합니다. Block3D는 이산 형태 토큰 시퀀스를 연속적인 블록으로 분할하고, 각 블록을 순차적으로 생성한 다음 현재 블록 내의 모든 토큰을 공동으로 노이즈 제거하는 방식으로 작동합니다. 또한 오류 누적을 완화하기 위해 각 블록이 확정되기 전에 낮은 신뢰도의 토큰을 수정하는 신뢰도 기반 블록 내 보정(confidence-guided intra-block correction) 기법을 도입했습니다.

TRELLIS-500K 데이터셋에서 실험한 결과, Block3D는 평균 종단 간 생성 시간을 25.71초에서 4.99초로 단축하여, 미세 조정된 자기회귀(autoregressive) 기준선 대비 5.15배의 속도 향상을 달성했습니다. 이 모든 과정에서 기하학적 충실도를 희생하지 않았다는 점이 주목할 만합니다.

월 액션 모델(WAM)은 미래의 세계 변화를 행동 생성에 통합하여 계획 능력을 향상시키지만, 기존 방법들은 모든 장면에 고정된 상상 예산만 할당하는 한계가 있습니다. 이에 본 연구는 지속적인 롤아웃의 예상 계획 이점을 기반으로 순차적인 롤/정지 결정을 내리는 시스템 수준의 적응형 상상 프레임워크인 RISE(Refining Imagination through SElective Rollout)를 제안합니다.

RISE는 각 단계에서 잠재 평가자(Latent Evaluator)를 사용하여 현재 접두사가 드러내는 위험과 상상이 계속될 경우 계획이 얼마나 개선될 수 있는지를 추정합니다. 동시에 롤아웃 게이트(Rollout Gate)는 이 예상 이점을 추가적인 계산 비용과 비교하여 가중치를 부여함으로써 효율적인 상상 과정을 관리합니다.

또한, 사실적인 주행 로그는 단 하나의 실현된 미래만을 제공하기 때문에, 연구진은 다양한 결과와 위험 수준을 가진 반사실적 데이터셋인 CounterDrive를 구축하여 미래 역학을 풍부하게 하고 국소적인 위험 감독을 제공합니다. 이 데이터셋의 샘플들은 궤적의 유효성, 사건 발생 시점, 인과 범주에 대해 전문가 검증 및 주석이 달렸으며, 이는 안전이 중요한 세계 모델링 연구를 위한 재사용 가능한 자원이 됩니다.

NAVSIM과 nuScenes 실험 결과, RISE는 불필요한 롤아웃을 줄이면서 최고의 전체 계획 성능을 달성했으며, 추가적인 전이 결과는 WAM 아키텍처 전반에 걸친 플러그인 일반성을 뒷받침합니다.

대규모 언어 모델(LLM) 에이전트의 집단적 행동은 단일 에이전트 벤치마크만으로는 특징지을 수 없다는 연구 결과가 발표되었습니다. 연구진은 동료 투표 기반 소셜 플랫폼 테스트베드인 PV-SST를 도입하여 네 가지 주제, 네 가지 시드, 네 가지 오픈 웨이트 모델 패밀리, 세 가지 크기 변형을 대상으로 하는 매치된 노출 실험을 진행했습니다.

이 실험 결과에 따르면, 이전 라운드의 동료 게시물을 좋아요 수에 따라 순위를 매겨 제공하는 피드(feed)는 최종 라운드의 어휘적 유사성을 증가시켰습니다. 이는 핵심 패널에서는 0.0082 TF-IDF 코사인 단위, 더 큰 변형에서는 0.0109의 증가를 보였습니다. 하지만 이 결과는 동료 게시물 노출과 순위 매기기를 결합한 것이므로 순위 매기기 효과만을 식별하지는 못합니다.

또한, 반대 측 생존율에 대한 분석 결과는 핵심 패널에서는 통계적으로 유의하지 않았으며, 더 큰 변형에서는 부정적인 결과를 보였습니다. 따라서 이 연구는 일반적인 의견 포착이나 전반적인 조정 이점을 식별하기보다는, 동료 순위 피드 하에서의 어휘적 수렴이라는 강력한 결과를 제시합니다. 이 연구는 합성 LLM 에이전트 집단을 평가한 것이므로 실제 사람이나 생산 플랫폼에 미치는 영향을 추정하지는 못한다는 점을 유의해야 합니다.

언어 모델 벤치마크는 보통 인간 선호 패널이나 다른 모델에 의존하지만, FlavourBench는 실행 가능한 요리 시스템을 통해 구체적인 정답을 제공하는 자동화된 벤치마크를 도입합니다. 이 벤치마크는 각 작업에서 여덟 가지 재료를 제시하고 세 가지 재료 포트폴리오를 요청하며, 모델 실행 전에 Epicure가 56가지 가능한 포트폴리오에 점수를 매깁니다.

FlavourBench는 치환, 페어링, 제약된 구성 등 534개의 핵심 과제를 포괄하는 동일한 코어를 사용하여 27개의 최첨단 엔드포인트를 평가합니다. 이 과정에서 모든 순위 모델은 패널 및 가족별로 정확히 89개의 유효한 응답을 가지며, 이는 순위표에서 발생하는 누락 데이터의 차이를 제거합니다.

이 점수를 통합한 FlavourBench 점수는 고정된 작업 점수의 등평균으로 정의되며, 95% 점수 범위와 351개의 모델 쌍 대비에 대해 홀름 제어를 사용한 통계적 엄격함을 적용했습니다. 이 독립적으로 컴파일된 두 패널은 상관관계 r=0.89를 보이며, Grok 4.6이 65.1점으로 가장 큰 추정치를 기록했습니다.

연구팀은 50,000개의 앵커-클러스터 부트스트랩 복제와 100,000개의 부호 반전 추출을 사용하여 통계적 신뢰도를 확보했으며, 이 결과는 모든 포트폴리오 점수 맵과 응답을 포함하여 모든 결과를 재구성하는 오프라인 검증기를 포함합니다.

Daedalus-150M은 CPU 추론에 최적화된 컨볼루션-어텐션 하이브리드 아키텍처를 제시하며 효율성과 성능을 동시에 달성했습니다. 이 모델은 4비트 가중치를 사용하고 토큰 단위로 학습을 진행했으며, 전체 블록 중 6개 블록에만 전체 어텐션을 유지하고 나머지 12개 블록에는 메모리 사용량을 줄인 짧은 컨볼루션을 적용하여 긴 대화에서 캐시를 재읽는 것을 방지했습니다.

이러한 구조적 최적화 덕분에 모델은 599억 토큰으로 학습되었음에도 불구하고 5가지 작업 벤치마크에서 47.31점을 기록하며, 3~6배 더 많은 데이터를 학습한 GPT-2 124M, Pythia-160M, OPT-125M 및 GPT-neo-125M을 능가했습니다. 또한, 이 모델은 트릴리언 토큰을 본 MobileLLM-125M보다도 높은 점수를 기록했습니다.

실제 성능 측정 결과, 이 하이브리드 모델은 4비트 파일 크기를 6.3% 줄였으며, 2048 토큰 컨텍스트에서 디코딩 속도가 1.76배 빨랐습니다. 이는 단순히 메모리 용량만으로는 설명되지 않는 속도 우위이며, 모델이 길어질수록 속도 이점이 증가하는 특성을 보입니다.

다만, 이 접근 방식에는 몇 가지 한계점도 존재합니다. 4비트 품질 비용이 발생하며 컨볼루션 채널의 절반이 비활성화되어 제거가 불가능했고, 모델 크기보다 큰 어휘집을 사용해야 하는 제약이 있었습니다.

대규모 언어 모델 에이전트가 추론 시점에 워크플로우를 구성하여 복잡한 작업을 수행할 수 있지만, 한 에피소드에서 발견된 절차는 실행 후 보통 폐기된다는 한계가 있었습니다. 기존의 스킬 라이브러리는 재사용 가능한 실행 루틴을 제공하지만, 이는 오프라인으로 조립되며 에이전트의 워크플로우로부터 성장하지 못한다는 문제가 있었습니다.

이에 연구진은 추론 시점에 워크플로우와 스킬이 공동으로 진화하는 학습 없는 프레임워크인 FlowEvo를 소개합니다. FlowEvo는 성공적인 워크플로우를 호출 가능한 스킬로 컴파일하여 영구적인 저장소에 보관하고, 이 스킬들을 직접 실행하거나 새로운 워크플로우를 구성하기 위한 컨텍스트로 활용합니다. 또한 FlowEvo는 각 스킬의 하위 유용성을 추적하고 부정적 전이를 유발하는 스킬을 억제하여 효율성을 높입니다.

FlowEvo는 공유된 GPT-4o-mini 백본을 사용하여 ALFWorld, HumanEval, MBPP, GSM8K, MATH-500의 전체 표준 분할 데이터셋에서 8개 기준 모델 중 최고 정확도를 달성했습니다. 특히 ALFWorld에서는 가장 강력한 기준선보다 26.4% 높은 85.6%의 정확도를 달성했으며, 이때 토큰 사용량은 약 3분의 1 수준이었습니다.

이 프레임워크는 7B에서 671B 파라미터에 이르는 10가지 기본 모델에 걸쳐 ExpeL보다 49개의 모델-데이터셋 비교에서 우수한 성능을 보였습니다. FlowEvo의 코드는 https://github.com/DEFENSE-SEU/FlowEvo에서 확인할 수 있습니다.

DuckDB v2.0은 기존의 PostgreSQL 기반 SQL 파서를 PEG(Parsing Expression Grammar) 기반의 새로운 파서로 대체하여 시스템을 개선했습니다. 이 변경의 핵심 목표는 데이터베이스 시스템을 사용하기 쉽게 만드는 과정에서 파서의 진화와 런타임 확장을 용이하게 하는 것입니다.

기존의 PostgreSQL 기반 파서는 오랜 기간 검증된 문법을 제공했지만, DuckSQL의 기능을 확장할 때 내부 문법(YACC/Bison)을 수정해야 했고, 이 과정에서 충돌이 발생하기 쉬워 확장성이 제한적이었습니다. 새로운 PEG 기반 파서는 이러한 한계를 극복하며 확장 가능한 데이터베이스 파서의 기반을 제공합니다.

새로운 파서 구조는 SQL 자체(DuckSQL)를 대체하는 것이 아니라 파서 구현과 문법을 변경하는 것입니다. 따라서 기존의 DuckSQL 쿼리는 그대로 작동하지만, 내부적으로는 확장성과 진화가 더 쉬운 구조로 바뀌었습니다. 확장 기능은 기존 규칙과 변환을 재사용하면서 새로운 구문을 추가할 수 있어, 다른 SQL 부분을 다시 파싱할 필요가 없어집니다.

결론적으로 DuckDB v2.0은 내부적으로 더 유연하고 확장 가능한 파서를 도입하여 커뮤니티가 새로운 구문을 추가하고 DuckSQL을 지속적으로 발전시킬 수 있는 기반을 마련했습니다.

CoToGrasp는 특정 접촉 위상에 엄격하게 조건화된 다양하고 안정적인 파지(grasp)를 합성하는 새로운 생성 프레임워크를 제안합니다. 기존의 섬세한 파지 계획기는 주로 물체의 물리적 안정성에 초점을 맞추어 파지 가능 여부를 판단할 뿐, 다운스트림 기능적 작업을 지원하기 위한 파지 방법을 최적화하지 못했습니다. 이러한 한계를 극복하기 위해 CoToGrasp는 특정 접촉 위상에 기반하여 파지를 합성하는 것을 목표로 합니다.

이 모델은 데이터 수집의 병목 현상을 피하기 위해 객체에 구애받지 않는 방식으로 전체 학습을 수행합니다. 이를 위해 CoToGrasp는 특징 기반의 표준 작업 공간(canonical workspace)을 도입하여 로컬 객체 특징을 그리퍼 중심의 통합된 영역으로 투영합니다. 이 과정을 통해 의미론적 기능 의도와 임의적인 객체 기하학을 효과적으로 분리할 수 있습니다.

이러한 접근 방식을 통해 그리퍼 내부의 고유한 접촉 다양체(contact manifold)를 학습함으로써, 모델은 추론 시 보지 못한 객체에 대해 제로샷 일반화 능력을 달성합니다. 대규모 DexGraspNet 데이터셋에 대한 광범위한 평가 결과, CoToGrasp는 기존의 분류 기반 계획기보다 우수한 성능을 보였습니다. 또한, 연구진은 합성된 접촉 위상의 물리적 타당성과 운동학적 실현 가능성을 실제 로봇 플랫폼에서 입증했습니다.

다지 손(multifingered) 파지(grasping)는 로봇 공학에서 매우 중요한 기술이지만, 현재 딥러닝 기반 파지 플래너들은 제한된 객체별 데이터셋으로 훈련되어 새로운 객체에 대한 일반화 능력이 부족하다는 한계가 있습니다. 이 문제를 해결하기 위해 연구진은 그리퍼와 객체가 접촉 지점에서 동일한 표면 기하학을 공유한다는 관찰에 기반하여 새로운 접근 방식을 제안했습니다.

연구팀은 GOAG(Generative and Object-Agnostic Grasp Planner for Dexterous Robotic Manipulation)라는 새로운 딥 생성 모델을 제안했는데, 이는 특정 그리퍼의 접촉 표면 분포에 대한 압축된 잠재 표현을 학습하여 객체별 훈련 데이터에 의존하지 않고도 유효한 파지 구성을 효율적으로 샘플링할 수 있게 합니다. 특히 객체 특징을 추론 시점(inference time)에만 도입함으로써 그리퍼의 능력과 호환되는 허용 가능한 접촉 영역을 효과적으로 검색할 수 있습니다.

이 방법은 시뮬레이션 및 실제 환경에서의 광범위한 실험을 통해 검증되었으며, MultiDex 데이터셋에서 평균 성공률 86.93%를 달성했습니다. GOAG는 기존의 객체별 훈련 방식과 달리 객체에 구애받지 않는 학습을 통해 기존 데이터 기반 파지 플래너가 직면했던 일반화 문제를 효과적으로 해결합니다. 또한, 다수의 파지 구성을 생성할 때 훨씬 빠른 처리 속도를 제공하면서도 선도적인 접근 방식과 동등한 성능을 보입니다.

이 연구는 객체별 훈련 데이터에 의존하지 않는 객체 불가지 학습의 이점을 강조하며, 로봇이 복잡하고 다양한 환경에서 정교한 조작을 수행하는 데 필요한 일반화 능력을 향상시키는 데 기여합니다. 관련 코드와 비디오는 프로젝트 웹사이트에서 확인할 수 있습니다.

자기 지도 학습(SSL)은 오디오 표현 학습에 상당한 발전을 가져왔지만, 경쟁력 있는 성능을 달성하기 위해 기존 방법들은 복잡한 사전 학습 레시피에 의존해 왔습니다. 최근 언어 모델링과 시각 표현 학습에서 가장 영향력 있는 발전은 인코더를 정적인 특징 추출기로 훈련시키는 대신, 모델이 이전 문맥으로부터 다음 요소, 즉 이산 토큰이나 연속 임베딩을 예측하도록 훈련하는 방식에서 비롯됩니다. 이러한 자기회귀 예측(autoregressive prediction)은 모달리티를 넘나드는 통일된 사전 학습 인터페이스를 제공하며 모델이 근본적인 데이터 분포를 학습하도록 강제합니다.

오디오의 시간적 구조상 패치 임베딩의 자기회귀 예측이 자연스럽게 적합한지 질문을 던지며, 연구진은 NAPE(Next-Audio-Patch-Embedding prediction)라는 새로운 자기 지도 학습 프레임워크를 제안합니다. NAPE는 인과 마스킹(causal masking)과 스톱 그라디언트(stop-gradient)만을 훈련 신호로 사용하여, 인과 트랜스포머(causal Transformer)가 이전 패치로부터 로그-멜 스펙트로그램의 다음 패치 임베딩을 예측하도록 설계되었습니다.

이 디자인은 재구성 디코더, 음향 토크나이저, 학생-교사 설정, 보조 정규화 손실 등을 피하는 의도적인 최소주의를 채택하여 설계되었습니다. NAPE는 여섯 가지 오디오 및 음성 벤치마크에서 여러 작업에 대해 최고 수준의 미세 조정 성능을 달성했으며, 인코더 크기에 걸쳐 일관되게 확장되고 강력한 선형 프로빙 결과를 산출했습니다. 또한 NAPE는 명시적인 지도 없이도 구조화된 어텐션 패턴을 생성하는 것도 입증했습니다.

최근 개발자들은 터미널 기반 사용자 인터페이스(TUI)를 만드는 것을 멈추고 네이티브 사용자 인터페이스(Native UI)를 구축하는 방향으로 전환해야 한다는 주장이 제기되고 있습니다. 이는 소프트웨어 개발 분야에서 프론트엔드와 백엔드, 웹과 네이티브라는 전통적인 경계가 AI 에이전트의 등장으로 인해 무너졌기 때문에 발생한 변화입니다.

저자는 개인적으로 MDV.app이나 DJ Roomba와 같은 네이티브 애플리케이션을 개발하면서 TUI 개발이 매우 지루하고 반복적이며 플랫폼 지식에 갇혀 있다고 느꼈다고 설명합니다. 이러한 경험을 바탕으로 저자는 TUI를 만드는 대신, LLM 에이전트를 활용하여 네이티브 UI를 구축하는 것이 더 효과적이라고 주장합니다.

AI 에이전트는 이제 파일 시스템을 활용하여 백엔드 데이터베이스를 반영하는 가상 파일 시스템을 구축하거나, 사용자에게 직접적인 인터페이스를 제공하는 방식으로 작동하며 개발의 경계를 허물고 있습니다. 따라서 개발자들은 터미널 인터페이스에 대한 선호도를 재평가하고, 500개의 임시 CLI를 네이티브 앱으로 전환하는 등의 작업을 통해 네이티브 UI 개발에 집중해야 합니다.

결론적으로, 개발자들은 터미널 인터페이스를 싫어하는지 여부보다 네이티브 사용자 인터페이스를 구축하는 것이 소프트웨어 개발 방식을 변화시키고 사고방식을 바꿀 수 있다는 점에 주목해야 합니다.

소프트웨어가 과학 기기 자체의 일부로 기능하면서 과학 코드의 오류가 프로그램 동작뿐만 아니라 과학적 결론의 근거까지 훼손할 수 있는 문제가 발생하고 있습니다. 기존의 코딩 에이전트 평가들은 주로 전체 작업 성공률에 초점을 맞추어 에이전트가 과학 소프트웨어를 수리할 때 실패하는 이유에 대한 통찰을 제공하지 못했습니다.

이러한 한계를 극복하기 위해 연구진은 과학 소프트웨어 엔지니어링을 위한 저장소 수준 벤치마크인 SWE-bench Science를 도입했습니다. 이 벤치마크는 20개의 과학 도메인에 걸쳐 98개의 GitHub 저장소에서 119개의 작업을 포함하며, 각 작업은 이슈 기반, 전문가 탐색, 엔지니어링 통합의 세 가지 패러다임으로 분류됩니다.

최고 성능을 보이는 에이전트인 Claude Code with Opus-5(max)조차도 pass@1이 50% 미만으로 나타나면서 과학 소프트웨어 엔지니어링이 안고 있는 상당한 어려움을 드러냈습니다. 연구진은 네 가지 반복되는 실패 메커니즘을 식별했는데, 이는 과학 지식이나 추상화의 결핍, 잘못된 탐색 또는 표면적인 수리, 불완전한 수리 범위 또는 시스템 통합, 그리고 관찰된 사례를 넘어 과학 지식을 일반화하지 못하는 실패로 구성됩니다.

또한, 연구진은 과학 지식이 균일하게 이점을 제공하지 않는다는 쌍별 절제 분석을 수행했습니다. 잘 근거 잡힌 정보는 수리를 제약하고 평균 성능과 토큰 효율성을 개선할 수 있지만, 잘못 정렬된 지침은 앵커링을 유발하여 정확한 수리 성공률을 반드시 높이지는 못합니다. SWE-bench Science는 코딩 에이전트의 과학 소프트웨어 엔지니어링에서의 능력과 실패 메커니즘을 연구하기 위한 광범위한 테스트베드를 제공합니다.

자동 음성 인식(ASR) 모델의 성능을 측정하는 공개 벤치마크는 중요하지만, 모델이 실제 데이터에 잘 일반화되지 않는 방식으로 벤치마크에 최적화될 위험이 있습니다. 본 연구는 오디오가 참조 스크립트를 불완전하게 결정하는 경우에 초점을 맞춰 벤치마크 최적화를 정량화하는 방법론을 제시합니다.

연구진은 오디오가 불완전함에도 불구하고 벤치마크 참조 구간을 재현하는 모델의 능력을 드러내는 세 가지 행동 탐지 프로브, 즉 참조 불일치(reference disagreement), 마스킹된 숫자 복구(masked-number recovery), 그리고 철자 전환(orthographic switching)을 식별했습니다. 이 분석 결과, 최고 점수를 받은 오픈 소스 모델들은 관련 오디오가 모순되거나 마스킹되거나 모호할 때조차도 참조 스크립트 구간을 그대로 출력하는 것으로 나타났습니다.

다양한 메커니즘 탐지 도구를 사용하여 모델들이 오디오의 충실한 표현 대신 벤치마크 최적화된 정책을 선호하기 위해 좁은 음향 단서에 반응함을 보여줍니다. 또한, 벤치마크 최적화된 행동은 저랭크 선형 조향(low-rank linear steering)이나 일부 경우 오디오를 세그먼트 끝에 추가하는 방식으로 인과적으로 조작될 수 있습니다.

결론적으로, 고성능 모델들은 일반적인 전사 능력 향상 없이 벤치마크 성능을 부풀릴 수 있는 벤치마크 조건화된 행동을 보인다는 것을 시사합니다. 이는 모델 평가 시 실제 일반화 능력을 반영하는 데 주의가 필요함을 의미합니다.

대규모 언어 모델은 추론 시점에 소스 문서를 검색하지 않을 경우 제한된 문서 컬렉션에 대한 질문에 제대로 답하지 못하는 문제가 있습니다. 연구진은 이러한 문제를 해결하기 위해 고정된 코퍼스를 검색 없이 질문 응답을 수행할 수 있는 사용 가능한 매개변수 지식으로 변환하는 문서 지식 내재화(document knowledge internalization)를 연구했습니다.

이를 위해 연구진은 구조화된 문서 지식 주입, QA 행동 정렬, 일반 능력 회복을 분리하는 3단계 후처리 프레임워크인 IAR(Inject, Align, and Recover)을 제안했습니다. Inject 단계에서는 소스 문서를 계속, 재작성, 지침 조건부 재구축 목표로 변환하며, Align 단계에서는 정답만 있는 QA 감독을 통해 주입된 모델을 조정하고, Recover 단계에서는 도메인 적응 모델과 기본 지침 모델을 병합하여 일반 능력을 회복합니다.

IAR은 Llama, Phi, Qwen, SmolLM 모델 패밀리 및 Common Corpus(CC), CCI 전반에 걸쳐 도메인 중심의 지식 내재화와 일반 지식 내재화의 경계를 개선했습니다. 주요 비교에서 IAR은 8개 데이터셋-모델 설정 중 7개에서 Vanilla SFT보다 우수한 성능을 보였으며, IFEval, MMLU, MSBench에서 도메인 QA 정확도에서 평균 3.6%p, 평균 일반 성능에서 12.1%p의 향상을 달성했습니다.

확장된 CC 기준선 분석 결과, LoRA나 FAPM과 같은 방법이 개별 일반 지표에서 우위를 점할 수 있지만, 도메인 내재화에서도 선두 또는 준선두에 도달하는 방법들 중에서 IAR은 가장 강력한 일반 프로필을 유지했습니다.

대규모 언어 모델 에이전트가 코드 생성에서 상당한 발전을 이루었지만, 기존 시스템들은 대부분 미리 정의된 저장소 구조를 가정한다는 한계가 있습니다. 이는 자연어 요구사항으로부터 전체 소프트웨어 프로젝트를 구성하면서도 개발 과정 내내 모듈식 저장소 구조를 유지해야 하는 제로투올 코드 생성 환경에서는 성립하지 않습니다.

이에 연구진은 제로투올 코드 생성을 위한 지속적인 구조 진화 프레임워크인 Repo0을 제시했습니다. Repo0은 요구사항 수준 DAG, 컴포넌트 수준 DAG, 그리고 이들의 정렬 관계를 포함하는 Dual-DAG라는 명시적인 아키텍처 상태를 유지합니다. 이 프레임워크는 모듈성 지표에 의해 안내되는 구조적 행동을 통해 컴포넌트 경계를 반복적으로 진화시키고 구조적 수렴에 도달할 때까지 진행합니다.

구조적 수렴에 도달한 후에는 이 수렴된 아키텍처가 테스트 주도 개발 코드 생성을 안내합니다. 이 방법론을 GPT-5 mini와 DeepSeek V3.2를 사용하여 여섯 개의 실제 저장소에 평가한 결과, Repo0은 모든 설정에서 가장 높은 기능 커버리지와 통과율을 달성했습니다.

특히 가장 강력한 저장소 계획 기준선인 RPG와 비교했을 때, Repo0은 기능 커버리지를 최대 20.08퍼센트 포인트, 통과율을 최대 29.74퍼센트 포인트 향상시켰습니다. 추가적인 분석 결과는 Dual-DAG 아키텍처 상태, 모듈성 기반 구조 진화, 그리고 명시적인 구조적 수렴의 중요성을 입증합니다.

고객 서비스 LLM 에이전트가 사용자 대신 행동할 때 조직 정책을 준수하도록 하는 것이 중요합니다. 현재 컴플라이언스 실패는 부적절한 변경 허용과 같은 금지된 행동이나 신원 확인, 확인과 같은 누락된 절차적 요구 사항에서 발생합니다. 런타임 안전장치는 위험한 행동에 개입할 수 있지만, 이는 다단계 절차를 안내하지 못합니다.

워크플로우 준수 시스템은 정해진 프로세스 실행을 지원하지만 에이전트의 행동을 보호하기보다는 워크플로우 완료에 중점을 둡니다. 이에 반해 PolicyGuide는 각 도메인 정책을 워크플로우 그래프로 컴파일하고 사용자 턴 경계에서 선제적인 검증기를 호출합니다. 이 검증기는 영속된 그래프 상태로부터 요청을 조정하고 정책을 준수하는 경로를 따라 단계별 해결책을 반환합니다.

GPT-5.4 에이전트와 검증기를 사용하여 항공, 소매, 통신 분야의 τ^2-벤치에서 PolicyGuide를 적용한 결과, 평균 Pass^4 점수가 0.42에서 0.62로 상승했습니다. 특히 워크플로우 구조가 가장 잘 정의된 통신 분야에서 가장 큰 개선을 보였는데, 이는 0.19에서 0.61로 크게 향상되었습니다.

이러한 워크플로우는 Claude Sonnet 4.6 및 Gemini 2.5 Pro 에이전트로도 이전될 수 있습니다. 추가 평가 결과, 적대적 사용자 하에서의 관찰된 공격 성공률이 가장 낮았으며, 작성자가 설계한 워크플로우 수준 검증에서 가장 강력한 절차적 준수를 보였습니다.

최첨단 로봇 조작 정책은 수십억 개의 매개변수를 가진 대규모 비전-언어-행동(VLA) 모델을 방대한 원격 조작 데이터로 행동 복제(behaviour cloning)하여 구축됩니다. 이러한 접근 방식은 로봇 조작에 상당한 발전을 이루었지만, 새로운 작업을 학습하기 위해 VLA 정책을 미세 조정하는 것은 여전히 해결해야 할 문제입니다. 특히 원격 조작 데이터셋을 수집하는 데는 수백 시간의 고비용 인력 노동이 필요하며, 대안인 강화 학습(RL)은 특히 장기 목표(long-horizon tasks)에 대해 샘플 효율성이 매우 낮다는 단점이 있습니다.

본 연구에서는 이러한 문제를 해결하기 위해 VLA 정책을 효율적으로 미세 조정하는 알고리즘인 EXIMO를 제안합니다. EXIMO는 탐색(explore), 모방(imitate), 최적화(optimize)의 세 단계로 작동합니다. 탐색 단계에서는 VLA에 계획가 역할을 하는 비전-언어 모델(VLM)을 장착하여, VLM이 어려운 장기 문제를 VLA가 처리할 수 있는 더 짧은 문제들로 분해하도록 합니다. 이 VLM과 VLA를 사용하여 새로운 작업에 대한 정교한 데이터셋을 수집합니다.

다음으로 모방 단계에서는 수집된 데이터셋을 사용하여 VLA를 미세 조정합니다. 마지막 최적화 단계에서는 잔차 오프-폴리시 강화 학습(residual off-policy RL)을 사용하여 정책을 추가로 미세 조정합니다. 실험 결과, EXIMO의 세 단계를 모두 제거했을 때 기존 접근 방식보다 샘플 효율성과 최종 성능 면에서 현저하게 우수한 성능을 보였습니다.

LLM 에이전트는 환경과의 상호작용을 통해 학습하지만, 현재의 환경들은 수동으로 구축되어 정적이며 에이전트의 약점을 알지 못하고 빠르게 뒤처진다는 한계가 있습니다. 기존의 환경 생성 방법들은 도메인별 파이프라인을 요구하고 비싸거나 신뢰할 수 없는 검증기에 의존하며 여전히 정적인 환경을 생성한다는 문제가 있습니다.

이러한 엔지니어링 부담을 줄이기 위해 연구진은 정적 환경의 동작을 수정하지 않고 행동을 재구성하는 플러그인 구성 요소의 프로그래머블 레이어인 환경 하네스(Environment Harness, EnvHarness)를 제안합니다. EnvHarness는 표준 인터페이스를 통해 다양한 도메인에 적용되면서도 각 환경이 원래의 검증기를 유지하도록 보장합니다.

또한 이 과정의 자동화를 위해 환경 리거(EnvRigger)를 도입했습니다. EnvRigger는 목표 정책을 블랙박스로 취급하여 실행 궤적을 관찰하고 진단된 결함을 목표로 하는 EnvHarness 구성 요소를 합성한 다음 새로운 실행을 통해 이를 검증합니다. 이 방법을 통해 EnvHarness는 기존 환경 및 도메인별 환경 생성 파이프라인을 모두 능가하며, 홀드아웃 인스턴스에서 최대 9.0%의 개선과 9.8% 적은 실행 단계를 달성했습니다.

나아가 EnvHarness는 강화 학습을 위한 우수한 최적화 신호를 제공하여 정책과 환경의 지속적이고 목표 지향적인 공동 진화(co-evolution)를 가능하게 합니다. 이는 에이전트 학습 환경 구축의 효율성과 성능을 크게 향상시킬 수 있습니다.

다수의 인물이 포함된 장면에서 정체성을 보존하는 이미지 생성은 점점 더 불안정해지고 있습니다. 모델은 각 정체성을 유지하는 것 외에도 모든 참조를 개별적인 사람과 위치에 묶어야 하며, 학습 시 정체성 손실은 여러 노이즈가 포함된 예측된 얼굴 간의 일관성을 확립해야 하는 어려움을 겪습니다.

이에 연구진은 최대 10개의 참조 정체성을 위한 그룹 이미지 생성을 위한 통합 프레임워크인 WithEveryone을 제안합니다. WithEveryone은 선택된 정체성을 주소화 토큰으로 주입하고, 구조화된 정체성-레이아웃 계획을 예측한 다음 이를 시각적 조건으로 렌더링합니다. 핵심 목표인 레이아웃 기반 ID 손실(Layout-Grounded ID Loss)은 주석이 달린 얼굴 영역을 사용하여 의도된 정체성을 직접 감독함으로써 불안정한 임베딩 기반 얼굴 매칭을 피합니다.

또한, ID 표현 강제(ID Representation Forcing)는 이미지 합성 전에 각 정체성에 대한 예측을 훈련하여 추가적인 정체성 일관성을 확보합니다. 정체성이 분리된 벤치마크에서 WithEveryone은 가장 높은 목표-컨텍스트 정체성 유사도를 달성했으며, GPT-Image-2의 얼굴 유사도를 0.462에서 0.499로 개선하고 복사-붙여넣기 아티팩트를 0.169에서 0.055로 줄였습니다.

이 결과는 명시적인 정체성-레이아웃 접지(identity-layout grounding)가 직접적인 참조 얼굴 복사에 의존하지 않고도 정체성 보존 생성을 더 큰 그룹으로 확장할 수 있음을 보여줍니다. WithEveryone은 요청된 정체성의 97.3%를 2.8%의 중복률로 커버하여 그룹 이미지 생성의 확장 가능성을 입증합니다.

거대 언어 모델(LLM)에서 메모리는 장기 상호작용으로부터 정보를 보존하고 학습하게 하는 핵심 요소가 되었습니다. 그러나 기존의 메모리 벤치마크들은 정보의 정확한 추출, 저장, 검색 여부에 중점을 두었을 뿐, 검색된 기억이 모델의 추론을 어떻게 변화시키고 현재 작업 성능에 영향을 미치는지에는 크게 소홀했습니다. 연구진은 기록이 정확하고 의미론적으로 관련성이 있더라도 모델의 추론이나 신념을 왜곡하고 현재 작업 성능을 저하시킬 수 있는 메모리 유발 인지적 함정(memory-induced cognitive traps)을 식별했습니다.

이러한 실패 모드를 체계적으로 평가하기 위해 연구진은 추론 고착(Reasoning Fixation)과 신념 왜곡(Belief Distortion)이라는 두 가지 인지적 함정을 다루는 MemTrapBench를 도입했습니다. 두 가지 모델 계열과 다섯 가지 대표적인 메모리 프레임워크에 걸친 실험 결과, MemTrapBench는 매우 도전적인 것으로 나타났습니다. 평가된 모든 메모리 전략은 메모리가 없는 설정보다 성능이 낮았으며, 가장 강력한 방법들조차도 10% 이상의 성능 저하를 겪었습니다.

연구진은 이러한 인지적 함정을 완화하기 위해 추론 시점에 LLM이 메모리 함정을 피하도록 지시하는 간단하면서도 효과적인 추론 시점 방법인 AdaptiveMem을 제안했습니다. AdaptiveMem은 다양한 메모리 프레임워크 전반의 표준 메모리 벤치마크에서 성능을 보존하거나 개선하면서 MemTrapBench 상의 인지적 함정을 완화합니다. 이는 메모리 기반 LLM의 성능을 평가하고 개선하는 데 있어 새로운 관점을 제공합니다.