ANTE: Anticipate, Then Execute -- Learning Internal World Models for Coding Agents from Verified Beliefs
최근 소프트웨어 엔지니어링 에이전트의 발전에 따라 복잡한 코딩 작업을 수행하는 능력이 향상되었지만, 기존 에이전트들은 행동의 결과를 예측하지 못하고 보상 신호를 통해 실패를 정확히 반영하지 못하는 한계를 가지고 있습니다. 이로 인해 잘못된 수정이 신호가 도착하기 전에 저장소 상태를 돌이킬 수 없게 손상시킬 위험이 있었습니다.
이러한 문제를 해결하기 위해 연구진은 ANTE(Anticipate, Then Execute)라는 에이전트 기반 강화 학습(RL) 프레임워크를 제안했습니다. ANTE는 실제 실행을 통해 정책의 사전 예측을 검증하고 이를 행동에 대한 단계별 신용과 신뢰 또는 포기 결정으로 전환하는 방식으로 작동합니다. 특히, 사전 행동에 대한 내부 믿음(belief)을 각 행동 전에 설정하는 Belief-Anchored Policy Optimization(BAPO)을 사용하여 예측을 기반으로 단계별 이점을 확보합니다.
또한, 훈련된 예측을 추론 시 더 나은 행동으로 전환하고 테스트 시간 확장을 용이하게 하기 위해 ANTE-TTO(test-time optimization)를 도입하여 외부 평가자 없이 후보 행동 중에서 선택할 수 있게 합니다. 이 프레임워크를 적용한 결과, Qwen3-32B 모델은 SWE-bench Verified에서 pass@1 성능이 25.0%에서 57.2%로 향상되었으며, 이는 보상 상태를 고려하지 않고 훈련된 GRPO 기준선보다 6.2% 높은 수치입니다.
나아가, 이 모델의 세계 모델 정확도는 강화 학습 과정에서 44%에서 69%로 상승했으며, 학습된 예측 능력은 다양한 하네스 및 분포 외 도메인으로 확장되었습니다. 요약하자면, ANTE는 발생한 일, 현재 상태, 그리고 다음 행동이 달성할 결과를 모두 아는 코딩 세계 모델을 구축하는 것을 목표로 합니다.
이러한 문제를 해결하기 위해 연구진은 ANTE(Anticipate, Then Execute)라는 에이전트 기반 강화 학습(RL) 프레임워크를 제안했습니다. ANTE는 실제 실행을 통해 정책의 사전 예측을 검증하고 이를 행동에 대한 단계별 신용과 신뢰 또는 포기 결정으로 전환하는 방식으로 작동합니다. 특히, 사전 행동에 대한 내부 믿음(belief)을 각 행동 전에 설정하는 Belief-Anchored Policy Optimization(BAPO)을 사용하여 예측을 기반으로 단계별 이점을 확보합니다.
또한, 훈련된 예측을 추론 시 더 나은 행동으로 전환하고 테스트 시간 확장을 용이하게 하기 위해 ANTE-TTO(test-time optimization)를 도입하여 외부 평가자 없이 후보 행동 중에서 선택할 수 있게 합니다. 이 프레임워크를 적용한 결과, Qwen3-32B 모델은 SWE-bench Verified에서 pass@1 성능이 25.0%에서 57.2%로 향상되었으며, 이는 보상 상태를 고려하지 않고 훈련된 GRPO 기준선보다 6.2% 높은 수치입니다.
나아가, 이 모델의 세계 모델 정확도는 강화 학습 과정에서 44%에서 69%로 상승했으며, 학습된 예측 능력은 다양한 하네스 및 분포 외 도메인으로 확장되었습니다. 요약하자면, ANTE는 발생한 일, 현재 상태, 그리고 다음 행동이 달성할 결과를 모두 아는 코딩 세계 모델을 구축하는 것을 목표로 합니다.