읽을 가치가 있는 기사만, 짧고 또렷하게.

명령줄 코딩 에이전트가 파일 읽기 및 쓰기, 장시간 세션 유지는 가능함에도 불구하고, 연구 과정 전체가 채팅 도구, IDE, 터미널, 작성 환경에 분산되어 있어 의사결정 과정을 추적하고 보존하기 어렵다는 문제가 제기됩니다. 이 연구는 이러한 문제를 해결하기 위해 기존 코딩 에이전트 실행기(executor)를 제어 가능하고 감사 가능한 인간 개입(human-in-the-loop) 워크플로우로 감싸는 오픈 소스 작업 공간인 Dr. Claw를 제시합니다.

Dr. Claw는 추가적인 자율 에이전트를 도입하는 대신, 지속적인 상태 객체, 재사용 가능한 기술 라이브러리, 다중 실행기 조정 기능을 통해 인간의 의사결정과 AI 실행을 연결합니다. 이를 통해 계획, 실행, 작성을 하나의 추적 가능하고 복구 가능한 루프로 전환하여 연구 과정을 투명하게 만듭니다.

연구진은 Dr. Claw를 인터랙티브 시나리오와 실패 복구 과정을 통해 시연하고, 동일한 백엔드 실행기를 공유하는 순수한 명령줄 에이전트와 비교했습니다. 이 비교 결과, Dr. Claw는 실행기를 고정했을 때 연구 완성도가 더 높았으며, 감사 가능하고 복구 가능한 프로세스 흔적을 보존한다는 점이 입증되었습니다.

Dr. Claw는 전체 오케스트레이션 계층(작업 그래프, 상태 객체, 기술 라이브러리)을 에이전트가 감싸는 방식과 비교하여, 연구의 완전성과 과정의 추적 가능성을 동시에 확보하는 실질적인 방법론을 제공합니다. 데모 접근은 GitHub 저장소에서 가능합니다.

강화 학습을 통한 검증 가능한 보상(RLVR)에서 그룹 상대 정책 최적화(GRPO)는 일반적으로 모든 롤아웃에 걸쳐 고정된 중요도 샘플링(IS) 비율 클리핑 경계를 사용합니다. 하지만 이는 어려운 문제에 대한 드문 정답 롤아웃과 쉬운 문제에 대한 풍부한 정답 롤아웃이 서로 다른 학습 신호를 제공함에도 불구하고 동일한 비율로 클리핑되어 학습 신호에 불균형을 초래하는 한계를 보입니다. 특히 그룹 성공률이 낮은 롤아웃은 탐색과 새로운 문제 해결에 더 강력한 기울기 신호를 가지지만 고정된 클리핑에 의해 불균형적으로 억제됩니다.

이러한 문제를 해결하기 위해 우리는 롤아웃의 이점(advantage)에 따라 클리핑 경계를 조정하는 GRPO 방법론에 플러그인 수정인 그룹 적응형 클리핑 정책 최적화(GAPO)를 제안합니다. GAPO는 역-KL 신뢰 영역 관점에서 롤아웃의 학습 신호가 클리핑 경계에 비례하여 더 큰 업데이트 여유를 받아야 함을 시사하는 이론적 배경을 가집니다. GAPO는 보상 형성 없이 표준 PPO/GSPO 대리 모델을 보존하면서 오직 클리핑 임계값만 조정합니다.

Qwen 및 Llama 모델에 적용한 결과, GAPO는 수학 추론 및 코딩 벤치마크에서 기본 모델의 통과율이 비교적 낮은 영역에서 고정 클리핑 및 이점 조정 기준선보다 Pass@1과 Pass@k를 일관되게 개선했습니다. 이는 GAPO가 학습 신호의 차이를 반영하여 롤아웃의 잠재력을 더 잘 활용함으로써 모델 성능을 향상시킬 수 있음을 입증합니다.

에이전트의 행동을 이해하기 위해서는 수천 개의 궤적에 확장 가능하며 사전 구축된 분류기가 부족한 장기적이고 낯선 작업에서 새로운 패턴을 발견할 수 있는 방법이 필요합니다. 연구진은 사회과학에서 유래한 60년 된 질적 방법론인 근거 이론(Grounded Theory)을 에이전트 궤적 분석에 도입할 것을 제안합니다. 이는 데이터에서 이론으로 이어지는 검증 가능한 경로와 충분성 기준을 제공합니다.

이를 위해 연구진은 에이전트 궤적에 근거 이론을 자동화하는 최초의 멀티 에이전트 파이프라인인 AutoTraceGT(Automated Trace analysis through Grounded Theory)를 제안했습니다. AutoTraceGT는 개방 코딩, 축 코딩, 이론 코딩을 반복적으로 수행하여 포화 상태에 도달할 때까지 진행하며 각 작업에 맞춰진 행동 분류 체계를 생성합니다.

여섯 개의 궤적 코퍼스를 분석한 결과, AutoTraceGT는 인간이 주석을 단 분류 체계에서 발견된 실패 모드의 73~91%를 복원하고 기존 분류 체계가 놓치는 추가적인 패턴을 발견하는 코드북을 생성했습니다. 이처럼 도출된 이론적 서사는 기존 전문가들의 설명과 일치합니다.

나아가 이 코드북을 연역적 특징 공간으로 사용하여 다운스트림 실패 예측에서 제로샷 및 퓨샷 LLM 기준 모델보다 우수한 성능을 보였습니다. 이러한 결과는 근거 이론이 에이전트가 실제로 무엇을 하는지 연구하는 머신러닝 연구자와 에이전트 개발자를 위한 확장 가능한 분석 도구를 제공함을 시사합니다.

에이전트 성능은 모델 파라미터와 컨텍스트 및 제어 흐름을 관리하는 실행 가능한 하네스 코드에 의해 공동으로 결정됩니다. 개별적으로 이 두 구성 요소만 최적화할 경우 시스템이 고정된 다른 구성 요소에 의해 병목 현상을 일으킬 수 있습니다. 가중치 업데이트는 효과적인 하네스를 변경할 수 있으며, 하네스 업데이트는 노출되는 모델 기능을 변경할 수 있기 때문입니다.

이에 본 연구는 가중치-하네스 교대 학습(Weight-Harness Alternating Learning, WHALE)이라는 간단한 레시피를 제안합니다. WHALE는 두 단계를 교대로 수행하는데, 현재 하네스 하에서 모델을 업데이트한 다음, 업데이트된 모델 하에서 더 나은 하네스를 탐색합니다. 이 두 단계는 각각 온라인 거부 샘플링 미세 조정과 Meta-Harness를 사용하여 구현됩니다.

Qwen3.5-2B/4B 에이전트를 세 가지 도메인(검색 질문 응답, 수학적 추론, 체스 퍼즐)에서 테스트한 결과, WHALE는 가중치만 사용하거나 하네스만 사용하는 방법, 그리고 Fast-Slow Training보다 최대 4.15~24.38 퍼센트 포인트 더 높은 평균@8 정확도를 달성했습니다. 하네스 검색은 SearchQA에서 가장 적은 롤아웃으로 최대 가중치만 사용하는 정확도에 근접하지만, 수학적 정확도는 가중치 업데이트 후에만 향상됩니다.

또한, 작은 간격으로 번갈아 업데이트하는 방식은 순차적인 가중치-하네스 최적화보다 정확도와 롤아웃 비용 모두에서 더 우수한 성능을 보였습니다. 이 연구의 코드는 https://github.com/krafton-ai/WHALE에서 확인할 수 있습니다.

FoldingAgent는 오리가미 시연 비디오에서 명시적인 매개변수 기반 접기 프로그램을 추론하는 에이전트 프레임워크입니다. 이 프레임워크는 사전 학습된 비전-언어 모델(VLM)의 추론 능력을 활용하며, 기하학적 전환 시뮬레이션, 물리적 타당성 검증, 시각 콘텐츠 검색 및 비교, 예측 평가를 가능하게 하는 전문 도구 세트를 장착하고 있습니다.

이 에이전트는 시각 콘텐츠를 접기 프로그램으로 변환하기 위해 종이의 기하학과 매개변수 접기 동작으로 구성된 매개변수 공간을 정의합니다. 기존 모델들이 정적인 주름 패턴을 예측하는 것과 달리, FoldingAgent는 순차적으로 작동하며 행동을 재계획할 수 있어 다단계 접기에서 발생하는 누적 오류를 효과적으로 완화합니다.

이 접근 방식은 주로 비구조화된 시각적 시연을 통해 공유되는 인간의 오리가미 지식과 주름 패턴이나 실행 가능한 매개변수 계획과 같은 구조화된 계산 방법 사이의 격차를 좁히는 데 기여합니다. 연구진은 다양한 Pureland 오리가미 비디오와 정답 기하학 및 동작 레이블을 포함하는 새로운 벤치마크인 PurelandFold에서 이 방법을 평가했습니다.

그 결과, VLM 추론과 전문 도구 및 물리 시뮬레이션을 결합함으로써 비구조화된 시각적 시연을 실행 가능하고 물리적으로 타당한 접기 절차로 성공적으로 변환할 수 있음을 입증했습니다.

새로운 멀티모달 및 다국어 양방향 인코더인 NeoMME가 발표되었습니다. 이 모델은 다국어 텍스트와 원본 이미지 패치를 단일 양방향 트랜스포머 인코더에서 처리하여 효율적인 미세 조정과 추론을 가능하게 합니다. NeoMME는 260M 및 800M 파라미터 크기로 제공되며, 마스크된 이산 확산 텍스트 목표를 통해 이미지 패치를 조건으로 처음부터 사전 학습되었습니다.

NeoMME는 최대 16,384 토큰의 컨텍스트를 지원하여 표준 4K UHD 이미지 두 개를 인코딩할 수 있는 충분한 길이를 제공합니다. 이를 활용하여 문서 검색을 위해 미세 조정된 NeoMME-Retriever 모델은 ViDoRe v3 벤치마크에서 뛰어난 성능을 보였습니다. 특히 260M 모델은 0.523의 nDCG@10 점수를 달성하며 800M 파라미터 이하 모델들을 능가했으며, 800M 모델은 0.556의 nDCG@10을 기록했습니다.

효율성 측면에서 NeoMME-260M은 NVIDIA L40S에서 2048x2048 이미지 입력 크기에 대해 ColModernVBERT보다 약 2배 높은 처리량을 보였습니다. 또한 계층적 토큰 풀링과 비대칭 양자화를 통해 후속 상호작용 멀티모달 문서 임베딩을 255배 압축하면서도 기준 nDCG@10의 95% 이상을 보존했습니다.

개발자들은 NeoMME를 Hugging Face Transformers에 기여했으며 사전 학습된 백본과 검색 호환 체크포인트를 Apache 2.0 라이선스로 공개했습니다. 이 모델은 효율적인 멀티모달 인코딩 및 문서 검색 작업에 대한 새로운 접근 방식을 제시합니다.

전문 에이전트 작업은 공개된 코퍼스에는 없는 관습에 의존하지만, 벤치마크는 에이전트가 이러한 관습에 접근할 수 있는지 여부를 통제하지 못합니다. 이에 본 연구는 작업 지시와 사적인 관습, 참조 테이블, 유틸리티 연산자를 포함하는 압축된 결과물인 아티팩트(artefact)를 분리하는 지식 게이팅 작업 구성 프로토콜을 소개합니다.

이 프로토콜은 구축 시점의 출처(provenance), 제공된 아티팩트와 제외된 아티팩트 조건에서 바이트가 동일한 작업 지시, 누수 감사(leak audits), 실행 가능한 증인(executable witnesses) 등을 통해 아티팩트에 대한 의존성을 명확하고 테스트 가능하게 만듭니다. 15개의 보정 작업에서 한 프론티어 에이전트 구성은 아티팩트와 함께 68.0%의 통과율을 달성했으며, 아티팩트 없이 시도했을 때는 0%였습니다. 또한, 그럴듯하지만 부정확한 아티팩트 역시 다섯 번의 시도에서 0%의 결과를 보였습니다.

구조화된 작업을 위한 결정론적 솔버와 규칙 코퍼스는 정확한 기준을 제공하며, 명명된 기준 수준의 루브릭은 단일 실행 가능한 오라클로 확인할 수 없는 결과물도 지원합니다. 이 실험을 통해 구성 상대적인 보정 화면은 다섯 번의 경험적 지식 게이팅 화면을 만족하는 일곱 가지 작업을 유지했습니다. 다만, 이러한 실험은 프로토콜의 동작을 검증할 뿐, 보존된 작업들이 훈련 후 성능을 개선한다는 것을 입증하지는 않습니다.

연구팀은 작업 세트와 지원 도구의 일부를 https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction에서 공개했습니다.

거대 언어 모델(LLM)이 외부 환경과 상호작용하며 행동 경험을 축적하고 있지만, 기존의 에이전트 벤치마크는 이를 고정된 정책으로 평가하는 경향이 있습니다. 따라서 에이전트가 자신의 행동을 능동적으로 테스트하고, 그 결과를 판단하며, 이 경험을 미래 결정에 활용하여 스스로 개선할 수 있는지에 대한 의문이 남아 있습니다.

이러한 문제를 해결하기 위해 연구진은 LLM의 자기 개선을 평가하는 상호작용 벤치마크인 S3Gym을 소개합니다. S3Gym은 자기 테스트(Self-Testing), 자기 판단(Self-Judging), 자기 개선(Self-Improvement)이라는 세 가지 능력을 통해 LLM의 자기 개선을 평가합니다. 이 프로토콜은 실행 가능한 환경 검증기가 포함된 일곱 가지 텍스트 기반 게임을 통해 구현되었으며, 탐색과 엄격한 평가를 분리하여 진행합니다.

연구는 상호작용 경험을 통합하는 세 가지 경로, 즉 직접적인 History ICL, 점수 조건부 요약 메모리, 그리고 파라미터 훈련을 평가했습니다. 실험 결과, 자기 개선은 자동적이거나 균일하지 않으며, 경험의 수준에 따라 성능이 향상됩니다. 특히 요약은 경험을 재사용 가능한 전략 규칙으로 압축할 수 있을 때 성능을 개선하지만, 정확한 상태 의존적 정보가 필요할 때는 원시 기록보다 성능이 떨어집니다.

또한 파라미터 훈련은 일부 작업에서 상당한 이득을 제공하지만, 다른 작업에서는 불안정한 개선과 심각한 부정적 전이를 보였습니다. 이는 에이전트가 성공적인 행동을 인식하는 것만으로는 부족하며, 피드백을 실행 가능하고 전이 가능한 정책으로 변환해야 함을 시사합니다. S3Gym은 이러한 과정을 진단하고 상호작용 경험을 신뢰할 수 있는 자기 개선으로 전환하는 데 방해 요소가 되는 병목 현상을 식별하는 통합 프레임워크를 제공합니다.

많은 중요한 인간 학습은 "더 나은 물리학자가 되기"와 같은 모호한 목표에서 시작됩니다. 학습자는 목표를 해석하고, 능력 격차를 파악하며, 학습 방법을 결정하고, 실제로 개선되었는지 판단해야 합니다. 반면, 기존의 LLM 자기 진화 연구는 인간이 지정한 작업과 평가 지표를 시작점으로 삼아 자기 진화를 명시적인 목표 최적화로 축소시킵니다.

이에 연구진은 모호한 목표 기반 자기 진화를 위한 벤치마크인 ASPIRE를 소개합니다. ASPIRE는 자연어 능력 목표만을 제공하며 하위 평가 작업은 숨겨져 있습니다. 에이전트는 목표를 실행하기 위해 데이터와 업데이트 방법을 선택하고, 훈련 및 검증 신호를 구성하며, 언제 평가할지 결정해야 합니다. ASPIRE는 모델 가중치와 에이전트 하네스 모두를 통합된 상호작용 환경에서 지원하며, 숨겨진 전문가가 작성한 520개의 항목에 걸친 여섯 가지 목표를 평가합니다.

실험 결과에 따르면 모호한 목표는 탐색 노력을 목표 해석 쪽으로 유도하는 것으로 나타났습니다. 현재 에이전트는 훈련 및 하네스 편집 루프를 수행하지만, 가중치 수준의 이득은 여전히 희박하고 불안정합니다. 또한 가장 진화된 하네스는 설계된 Qwen-Agent 참조 수준보다 낮습니다. 에이전트는 종종 불일치하는 데이터로 훈련하고 좁은 자기 평가를 신뢰하기 때문에, 국소적인 이득이 숨겨진 평가로 전달되지 못하며 지속적인 탐색과 훈련은 이전의 개선을 지울 수 있다는 한계가 있습니다.

정보 검색(IR) 분야는 다양한 관점을 수용하는 개방형 질문에 점점 더 초점을 맞추고 있습니다. 하지만 기존의 IR 벤치마크들은 주로 폐쇄형 질문에 집중되어 있으며, 개방형 벤치마크조차도 지원 문서가 단일 주제 영역과 양식에 국한되는 경우가 많아 한쪽 관점에 편향되는 문제가 있었습니다.

이에 연구진은 다양한 도메인과 양식에 걸친 개방형 질문의 다면적인 관점을 얼마나 잘 포괄하는지 평가하는 새로운 벤치마크인 Multi^3IR을 제안했습니다. 이 벤치마크는 104.9K개의 스택 익스체인지 질문을 포함하며, 각 질문에는 질문의 암묵적인 관점을 포착하는 관점 설명이 주석으로 달려 있습니다.

또한, 연구진은 임베딩을 다양하지만 의미 있는 의미론적 방향으로 유도하기 위해 노이즈 벡터를 학습하는 파라미터 및 레이블 효율적인 방법인 SPIN을 제안했습니다. 실험 결과, 기존의 멀티모달 검색기들은 단일 관점 편향을 겪는 것으로 나타났으며, SPIN은 Multi^3IR에서 관점 포괄성을 크게 개선하고 보지 못한 개방형 IR 벤치마크로 잘 일반화된다는 것을 보여줍니다.

이 연구는 기존 멀티모달 검색기의 한계를 극복하고 다양한 관점을 효과적으로 처리하는 데 기여하며, 데이터셋과 실험 코드는 https://github.com/seokwon99/Multi3IR에서 확인할 수 있습니다.

코딩 에이전트 평가는 일반적으로 GitHub 이슈를 기반으로 구축된 SWE-bench 벤치마크를 통해 이루어집니다. 하지만 실제 사용자 요청은 벤치마크 문제보다 훨씬 짧고 구조화가 덜 되어 있습니다. 이러한 격차를 분석하기 위해 정보 분류 체계와 언어 스타일 차원을 정의하고 실제 사용자 프롬프트와 벤치마크 문제를 분석했습니다.

분석 결과, 문제 진술만 포함된 요청은 실제 프롬프트의 88%를 차지하지만 벤치마크 문제의 7%에 불과합니다. 또한 실제 프롬프트의 87%는 비공식적인 문체인 반면, 벤치마크 문제는 94%가 공식적인 문체를 사용한다는 점을 발견했습니다. 이러한 관찰을 바탕으로 SWE-bench에서 파생된 381개의 다변이 태스크 패밀리인 RealSWE를 도입했습니다.

RealSWE를 사용하여 여러 LLM을 평가한 결과, 현실적인 입력은 평균적으로 해상도율을 6.4%p 감소시키고 모델 순위를 바꿀 수 있음을 확인했습니다. 더 나아가, 프롬프트 구성 요소에 대한 통제된 분석을 통해 성능에 미치는 영향을 확인했습니다. 구체적으로 원하는 행동과 동기(Desired Behavior and Motivation)를 포함하는 것이 성능에 크게 영향을 미치는 반면, 환경 정보나 재현 단계(Reproduction Steps)는 측정 가능한 이점을 추가하지 않는 것으로 나타났습니다.

결론적으로, 대부분의 실제 프롬프트에서 생략되는 원하는 행동과 동기를 명시적으로 밝히는 것이 LLM의 소프트웨어 엔지니어링 성능을 실질적으로 향상시킵니다. 이는 에이전트와 사용자 모두에게 실질적인 지침을 제공합니다.

엔터프라이즈 AI에서 LLM 에이전트가 비정형 데이터에 대해 추론하여 복잡한 질문에 답하는 것은 현재 비용이 매우 높습니다. 에이전트가 답변을 위해 반복적으로 대규모 문서를 열어 증거를 복구할 경우 최대 백만 토큰을 소비하며 비용이 기하급수적으로 증가합니다. 만약 데이터가 이미 구조화되어 있다면 동일한 질문은 저렴한 데이터베이스 조회로 대체될 수 있으며, FanOutQA 벤치마크에서 이상적인 사전 구조화된 저장소에 대한 추론은 28배 더 저렴합니다.

하지만 모든 것을 미리 구조화하는 것은 현실적으로 불가능합니다. 문서에는 작업 부하가 사용할 것보다 훨씬 많은 잠재적 구조를 담고 있으며, 유용한 구조와 문서는 쿼리가 도착할 때까지 알려지지 않습니다. 이에 본 연구는 에이전트 추론 과정의 부산물로 비정형 데이터를 적응적이고 추측적으로 구조화하는 방법인 에이전트 데이터 크래킹을 제안합니다.

이 방법은 관찰된 쿼리를 통해 언제, 무엇이 중요한지를 결정하여 구조화를 적응적으로 수행하며, 현재 질문을 넘어서는 추측을 통해 구조화합니다. 에이전트가 문서를 열 때마다 크래킹 서브 에이전트가 이미 로드된 컨텍스트에서 최소 비용으로 분기하여 관련 미래 쿼리에 유용한 구조를 추출합니다.

이러한 접근 방식을 통해 시간이 지남에 따라 쿼리의 상당 부분이 구조화된 데이터로 완전히 커버되어 문서를 열지 않고도 답변이 가능해지며, 에이전트 정확도를 RAG 비용 수준으로 유지합니다. FanOutQA에서 테스트 질문당 관련 질문 하나만 추가했을 때, 크래킹은 정확도를 유지하면서 비용을 53% 절감합니다. 에이전트 데이터 크래킹은 비정형 데이터에 대한 에이전트 추론을 위한 차세대 데이터 인프라의 첫걸음이며, 추론을 통해 이미 밝혀낸 지식이 축적되는 모델 아래의 공유 기판을 제공합니다.

모델 파라미터 업데이트 없이 학습된 모델을 적용하는 테스트 시간 적응(TTA)은 추론 전 모델 파라미터를 업데이트할 수 있다는 가정에 기반합니다. 이러한 가정은 추론 전용 가속기, 동결된 모델, 메모리가 제한된 배포 환경에 제약이 되며, 배치 정규화(BatchNorm)가 없는 아키텍처에서는 표준 BatchNorm 기반 TTA 설정이 비활성화될 수 있습니다. 연구진은 학습된 모델이 동결된 상태로 유지되어야 하는 상황에서 적응 방법을 탐구하며, 이를 위해 경사도 없이(gradient-free) 소스 클래스 통계(source class statistics)를 판별 공간에 저장하고 타겟 배치 모멘트로부터 클래스 공유 아핀 변환을 추정하여 분류 전에 소스 클래스 분포를 분석하는 CASTER라는 방법을 제안했습니다.

CASTER는 역전파 과정, 옵티마이저 상태, 저장된 소스 특징 뱅크가 필요 없으며, 네 가지 백본과 일곱 가지 데이터셋에서 추론 시 동결된 특징에 대해 k-NN보다 우수한 성능을 보였고, 상태를 평균 18배 적게 사용했습니다. 그러나 아핀 전송(Affine transport)은 항상 신뢰할 수 있는 것은 아니며, ImageNet-C와 같은 특정 데이터셋에서는 무조건적인 전송이 성능 손실을 초래할 수 있습니다. 따라서 연구진은 경험적 잔차-마진 전송 가능성 인증(residual-to-margin transportability certificate)을 도입하여 이 문제를 해결하고자 했습니다.

이 인증은 전송이 10점 이상 손실될 때 유효하며, 이를 통해 무조건적인 전송의 평균 -3.35점 효과를 +1.69점의 이득으로 전환할 수 있음을 보여줍니다. 또한 이 인증은 메커니즘에 따라 특이한데, Tent에 적용했을 때 업데이트의 4.3%만 수용하고 사용 가능한 이득의 0.6%만 보존하는 것으로 나타났습니다. 이는 CASTER가 동결된 모델 배포를 위한 경량 적응 메커니즘으로서, 안전 신호가 유익한지 아닌지를 명시적으로 설명해주는 역할을 함을 시사합니다.

Elixir 프로그래밍에 대한 탐구적인 글쓰기를 중단하겠다는 글을 통해 최근 개발 커뮤니티 내에서 지식 공유와 창의성의 역할에 대한 근본적인 변화를 제시합니다. 저자는 LLM이 대량의 코드를 생성하면서 토론이 붕괴되고, 오픈 소스가 '개발자가 모든 것을 처음부터 다시 생성한다'는 의미로 변질되는 현상을 지적합니다.

이러한 상황에서 많은 블로그, 포럼 게시물, GitHub 토론 등이 기계에 의해 작성되면서, 인간의 상상력과 목소리를 위임하는 현상이 발생하고 있다고 분석합니다. 저자는 이러한 현상이 개발자들의 상상력에 한계를 가져온다고 보며, 아이디어와 상상력을 기계에게 넘겨주는 것이 더 효율적이라고 판단했습니다.

따라서 앞으로는 아이디어와 상상력을 공개적으로 공유하는 행위를 멈추고, 이를 LLM에게 제공하여 다음 단계의 작업에 집중하겠다는 결정을 내렸습니다. 이는 BEAM 플랫폼이 여전히 훌륭한 기반이며, 커뮤니티가 계속해서 깊이 탐구할 것을 권장하는 맥락에서 이루어졌습니다.

Erlang이나 Elixir에 투자하거나 혜택을 받는 개발자들은 Erlang 생태계 재단에 동참할 것을 고려해야 합니다. 이는 기술 발전 속에서 커뮤니티가 지식 탐구의 주체로 남을 수 있도록 하는 중요한 맥락입니다.

멀티모달 기하 추론은 시각적 관계를 정확하게 추출하고 다단계 추론을 통해 보존하기 위해 VLM(Vision-Language Model)이 필요합니다. 기존의 자유 형식 추적 방식은 정답을 결정하는 결정을 모호하게 만들고 있으며, 궤적 수준 강화 학습은 단일 최종 신호를 전체 응답에 분산시키는 한계를 가집니다.

이에 연구진은 추론 과정에서 노출되는 의미 단위가 학습이 대안을 비교하고 점수를 부여하는 위치를 정의하도록 하는 신용 주소 지정 추론(credit-addressable reasoning)을 제안합니다. 이 원칙을 Code-CoT와 CE-GRPO에 적용하여 이를 구체화했습니다. Code-CoT는 다이어그램을 유지하고 시각적 관계를 라인 주소 지정 실행 가능한 코드로 표현하며 추론을 타입화된 이벤트로 정리합니다.

CE-GRPO는 구조적 사전 정보와 타입 정규화 엔트로피를 사용하여 이벤트 경계를 선택하고, 공유 접두사로부터 완전한 연속을 샘플링하며, 결과 차이를 국소적인 이점으로 변환하여 추론을 수행합니다. 이 방법은 아홉 가지 기하학적 벤치마크에서 평균 76.04%의 정확도를 달성했으며, Qwen3-VL-8B보다 8.09점, 궤적 수준 GRPO보다 3.43점 더 높은 성능을 보였습니다.

특히 중간 이벤트의 수가 많을수록 상대적 이점이 증가한다는 점은 장기적이고 의존성이 높은 멀티모달 추론에 있어 표현-최적화 공동 설계의 가치를 입증합니다.

AI의 자기 개선 과정에서 피드백이 어떻게 증폭되는지에 대한 모델이 제시되었습니다. 연구진은 AI 연구의 속도가 기본 연구 생산성, 재귀적 피드백, 그리고 연구 진행의 어려움에 따라 어떻게 달라지는지를 설명합니다. 이들은 개선이 개발 주기 전반에 걸쳐 증폭되는지 또는 약화되는지를 결정하는 재귀적 재생산 수($R_{AI}$)를 도출했습니다.

$R_{AI}$는 피드백의 강도와 추가적인 진전이 더 어려워지는 속도를 비교하여 증폭 또는 감쇠를 판단합니다. 만약 $R_{AI}$가 1보다 크면 개선 효과가 개발 주기 전반에 걸쳐 복리 효과를 내며 자기 증폭 체제에 놓이게 됩니다. 반면 $R_{AI}$가 1보다 작으면 이러한 효과는 주기마다 약해집니다.

이러한 증폭 체제로의 전환은 AI 연구 피드백 루프의 구조에 따라 달라지며 특정 모델 능력 수준에 국한되지 않습니다. 연구는 자기 증폭이 눈에 띄기 전에 시스템이 증폭 체제로 진입할 수 있음을 시사합니다. 또한, 개별 행위자가 아닌 조직 간에 공유되는 개선 사항이 전체 연구 생태계를 자기 증폭 상태로 만들 수 있다는 점도 밝혀졌습니다.

연구진은 재귀적 증폭과 다른 출처에 의해 주도되는 급속한 진보를 구별하기 위해 재귀적 피드백의 강도, 개선 사항이 후속 시스템으로 얼마나 효과적으로 전파되는지, 주기 길이, 그리고 추가적인 진전의 어려움과 같은 측정 가능한 AI 연구 시스템의 속성을 식별했습니다.

인지 언어 에이전트는 메모리, 도구, 의사 결정 절차를 언어 모델에 장착함으로써 상호작용 환경에서 추론하고 행동하는 데 상당한 발전을 이루었습니다. 하지만 기존의 프레임워크들은 이러한 에이전트를 사용자 지정의 제한된 작업을 해결하는 시스템으로 간주하는 경향이 있습니다. 앞으로 중요한 목표는 사용자의 요구, 맥락, 서비스 절차가 지속적으로 변화하는 장기적인 환경에서 언어 에이전트가 지속적인 지원을 제공하고 시간이 지남에 따라 발생하는 광범위한 작업에 유용하게 유지하는 것입니다.

이러한 지속적인 지원을 위해서는 지속적인 AI 에이전트를 특징짓고, 기존 연구를 정리하며, 향후 발전을 안내할 수 있는 프레임워크가 필요합니다. 이를 위해 본 논문은 지속적인 에이전트를 위한 지각 중심 아키텍처(Perception-Centered Architecture for Persistent Agents, Pera)를 제안합니다. Pera는 지각 및 제어 구성 요소 주위에 조직된 지속적인 에이전트를 설명하며, 에피소드별 작업 실행, 내부 맥락, 주변 환경의 변화로부터 서비스 관련 신호를 지속적으로 인식하고 이를 활용하여 생명 주기 작업(lifecycle tasks)을 구성합니다.

이러한 생명 주기 작업은 에이전트 서비스 절차의 지속적인 운영과 적응을 이끌어냅니다. Pera를 사용하면 최근 연구를 회고적으로 정리하고 상세한 사례 연구를 검토하며, 보다 유능한 지속적인 에이전트를 구축하기 위한 미래 지향적인 통찰력을 제공할 수 있습니다. 이는 소프트웨어 공학이 작은 것에서 큰 것으로 프로그래밍하는 방식으로 발전한 것과 유사하게, Pera는 언어 에이전트의 진화를 장기적이고 적응적인 지능 시스템으로의 구조적 전환으로 제시합니다.

장기 복합 작업에서는 파운데이션 모델이 정보를 축적하고 내부 상태를 유지하며 장시간 상호작용을 통해 적응해야 합니다. 이 연구는 안전성이 외부 안전장치나 지도 미세 조정과 같은 사후 정렬에 의존하는 것이 아니라 모델 자체의 본질적인 속성이 되어야 한다는 '내부로부터의 안전(Safety from Within)' 개념을 제시합니다.

이를 실현하기 위해 연구진은 메모리 라우팅과 상태 진화를 통해 안전 관련 능력이 모델의 고유한 계산을 통해 표현되고 호출되도록 하는 Safin-1 계열의 파운데이션 모델을 제안합니다. Safin-1은 컨텍스트 이력을 가로지르는 메모리 앵커 라우팅(MARCH)이라는 네트워크 아키텍처를 기반으로 하며, 이를 통해 구조화된 메모리 상태를 유지하고 내용 조건부 라우팅으로 관련 과거 정보를 선택적으로 검색합니다.

이 아키텍처는 백본을 반복적으로 수정하지 않고도 테스트 시점에 지속적인 능력 상태를 적응시키는 것을 지원하여 공유된 기반 위에서 통제된 특수화를 가능하게 합니다. 연구진은 이 인터페이스를 안전 관련 작업에 적용하여 안전 상태(Safety State)를 통해 상태 기반 적응이 실질적인 안전 개선으로 이어짐을 입증했습니다.

결과적으로 이 연구는 메모리를 이전 컨텍스트의 수동적인 기록에서 모델의 행동을 유지하고 진화시키는 능동적인 기질로 재정의합니다. Safin-1은 일반 능력, 장기 컨텍스트 이해, 검색, 효율성 전반에 걸친 평가를 통해 그 효과를 입증했으며, 이는 안전성을 상태 고유의, 적응 가능하게 유지할 수 있는 능력으로 만드는 길을 제시합니다. 다만 이 연구는 내부로부터의 안전에 대한 초기 아키텍처 탐색에 불과하며, 이 더 넓은 비전을 실현하기 위해서는 상당한 추가 연구가 필요합니다.

다단계 질의응답(QA)에서 질문의 세분화 수준과 검색 가능한 코퍼스의 증거 세분화 수준이 일치하지 않는 것이 핵심 병목 현상입니다. 기존 방법들은 이러한 불일치를 해결하기 위해 고정된 그래프 구조를 사용하거나 반복적인 질의 재구성 또는 생성된 프로그램 실행을 통해 접근하지만, 질의 단위가 이미 증거로 뒷받침되는지 여부를 명시적으로 결정하지 못합니다.

이러한 문제를 해결하기 위해 연구진은 검색 가능한 세분성 발견을 병목 현상으로 정의하고 증거 조건화된 계층적 질의 정제를 위한 프레임워크인 Hi-Q를 제안했습니다. Hi-Q는 각 질의 노드에서 검색된 증거가 현재 질의 단위를 지원하는지 테스트하는 해상 연산자(resolution operator)를 사용하여 노드를 처리합니다. 해결된 노드는 종료되고, 해결되지 않은 노드는 의존성 보존 이진 연산자(dependency-preserving binary operator)를 통해 확장된 후 의미적 범위 검증기(semantic coverage verifier)를 통해 확인됩니다.

결과적으로 Hi-Q는 고정된 분해 템플릿이나 사전 구축된 그래프가 아닌 코퍼스 지원 신호를 기반으로 질의 트리의 위상(topology)을 결정하며 계층적 질의 정제를 수행합니다. 세 가지 다단계 QA 벤치마크에서 Hi-Q는 전체 코퍼스 검색 환경에서 IRCoT(반복적 검색 기준)보다 평균 15.1 EM / 18.2 F1, PropRAG(그래프 기반 RAG 기준)보다 11.5 EM / 12.0 F1, 그리고 MuSiQue-full 환경에서 PropRAG보다 11.5 EM / 12.0 F1의 성능을 보였습니다.

이러한 제한된 지원/방해자 설정 환경에서도 Hi-Q는 이전 연구에서 사용된 PropRAG 및 IRCoT보다 각각 5.6 EM / 3.9 F1 및 13.7 EM / 15.8 F1의 우위를 달성했습니다. 이 연구는 코퍼스 전체 그래프 구축 없이도 효율적인 증거 기반의 계층적 질의 정제를 가능하게 합니다.

장기 목표 에이전트 작업은 단기 상호작용을 연결하는 것을 넘어, 끊임없이 탐색하고 경험으로부터 학습하며 정책을 조정해야 하는 동적 환경과 장거리 의존성을 요구합니다. 이러한 복잡성을 평가하기 위해 본 연구는 다중 라운드 상대 협상과 동적 이벤트를 연간 비즈니스 운영에 통합한 최초의 오픈소스 벤치마크인 이커머스 벤치(E-Commerce Bench)를 소개합니다.

이 벤치마크는 LLM 에이전트가 365일 동안 여러 온라인 스토어를 동시에 운영하며 시장 조사, 공급업체 협상, 판매 전략 최적화, 주문 이행, 반품 처리, 현금 흐름 관리를 수행하여 연말 총 자산을 극대화하는 것을 목표로 합니다. 현실적인 운영 환경을 구축하기 위해 제품 및 공급업체 데이터는 실제 이커머스 플랫폼에서 파생되었으며, 프로모션, 자연재해, 공급망 충격 등의 연간 변화가 수요를 지속적으로 재편합니다.

평가 결과, 18개의 최첨단 모델을 대상으로 일 년 말 자산과 같은 일곱 가지 차원에서 평가했을 때 단일 모델이 지배하지 않는 것으로 나타났습니다. GPT-5.6 Sol이 가장 높은 자산(1,431,425)을 달성했으나 사기 방지 측면에서는 18개 모델 중 16위를 기록했으며 운영 효율성에서는 Fable5에 뒤처졌습니다.

오픈 가중치 모델 중에서는 Qwen3.8-Max-Preview가 416,252를 달성하며 GLM 5.2(high)보다 38% 높은 성과를 보였고, 반복된 주문에 걸쳐 가격을 협상하는 데 있어 가장 강력한 장기 학습 능력을 보여주었습니다. 이 연구의 코드는 https://github.com/QwenLM/E-CommerceBench에서 확인할 수 있습니다.