읽을 가치가 있는 기사만, 짧고 또렷하게.

대규모 언어 모델에서 셀프 어텐션은 쿼리 의존적인 컨텍스트 접근을 제공하지만, 밀집된 토큰 상호작용은 제곱에 비례하는 프리필 비용과 컨텍스트 길이에 따라 증가하는 키-값 캐시를 발생시킵니다. 이러한 한계를 극복하기 위해 연구는 명시적 메모리 압축, 희소 접근, 재귀적 상태 구성, 구조적 상태 동역학, 이질적인 메커니즘 조합 등으로 확장되었습니다.

본 연구는 이러한 발전들을 모델 내부의 컨텍스트 메모리로 분석하며, 메모리 표현, 업데이트, 접근, 출력, 통합이라는 다섯 차원의 렌즈를 도입하여 메모리가 무엇을 나타내고 어떻게 변화하며, 어떤 쿼리에 적합하고, 어떻게 읽히는지 설명합니다. 이는 단일 계산 모델을 부과하지 않고 중복되는 연구 분야들을 비교하는 틀을 제공합니다.

또한, 이 연구들은 메모리 구성과 관리에 대한 상태 기반 다차원 메모리 라우팅 가설을 제시합니다. 즉, 영구적인 메모리는 시간 범위, 네트워크 깊이, 기질 유형, 표현 세분성 전반에 걸쳐 조직되며, 희소 쓰기와 희소 읽기가 각 쿼리에 기여하는 내용을 결정합니다.

결론적으로, 효율적인 시퀀스 아키텍처 설계는 고립된 어텐션 연산자보다는 컨텍스트 메모리의 조직, 수명 주기, 그리고 선택적 사용에 점점 더 초점을 맞추게 됩니다. 이는 모델의 효율성과 확장성을 개선하기 위한 새로운 방향을 제시합니다.

자가 진화 검색 에이전트는 질문을 생성하는 제안자(proposer)와 답변을 생성하는 해결자(solver)를 공동으로 최적화하여 훈련 커리큘럼을 구축합니다. 이러한 폐쇄 루프 구조는 공동 오류에 대해 제안자와 해결자가 점점 합의하게 되는 실패 모드인 공동 속임수(co-cheating)를 발생시키며, 이는 외부 정확도가 향상되지 않았음에도 내부 보상이 개선되는 현상을 초래합니다.

자기 진화 과정에서 공동 속임수는 심화되어 내부 훈련 신호가 개선됨에도 불구하고 의사 레이블의 정확도는 정체되거나 감소하는 것으로 나타났습니다. 이를 완화하기 위한 직접적인 방법으로, 훈련 전에 제안을 검증하는 다중 샘플 검증(MSV)이 도입되었습니다. MSV는 동일한 모델을 소스 문서와 소스 문서 없이 세 번씩 질의하여 작업 승인을 결정하고 신뢰할 수 없는 의사 레이블을 대체합니다.

MSV는 허위 합의 정도를 부분적으로 줄이지만 후보당 여섯 번의 추가 레이블러 세대를 필요로 하는 한계가 있습니다. 이러한 한계를 극복하기 위해 제안자의 소스 문서를 그룹 A와 B로 분할하고, A에서 생성된 질문을 B로 훈련된 보조 해결자로 평가하는 교차 적합(CrossFitted) 방법이 제안되었습니다. 교차 적합은 제안자의 보상을 결정하여 동일 소스 의사 레이블을 재현하지 못하게 합니다.

Qwen3.5-9B 모델에서 MSV는 허위 합의 질량을 6.1%에서 5.7%로, 8.8%에서 7.2%로 감소시켰으며, 교차 적합은 이를 3.0%와 3.7%로 줄였습니다. 또한 동일한 제안에 대해 소스 제외 피드백을 재실행하면 허위 합의는 0.4%와 0.1%로 줄어들어 피드백의 기원을 커리큘럼 변화와 분리할 수 있습니다. 이러한 방법들은 일곱 가지 다운스트림 검색 벤치마크에서 표준 공동 자기 진화보다 평균 성능을 8.8점과 8.4점, Search-R1보다 8.7점과 7.8점을 향상시켰습니다.

멀티모달 모델이 생성과 이해를 통합하여 자체 피드백을 학습할 수 있는 능력을 갖추었기 때문에, 본 연구는 이러한 능력을 활용하여 모델이 테스트 시점에 스스로 교정하는 피드백으로부터 학습하는 자기 진화 프레임워크인 UniEvo-VL을 소개합니다. 이 방법은 별도의 교사 모델에 의존하지 않고, 모델의 자기 비판을 특권 정보로 활용하여 단일 멀티모달 모델이 교사와 학생 역할을 동시에 수행하도록 합니다. 학생은 질문만 보지만 교사는 특권적인 비판을 조건으로 삼으며, 훈련은 학생의 샘플링 궤적에 걸친 디노이징 확산 분포 간의 차이를 최소화하여 진행됩니다.

실험 결과, UniEvo-VL은 멀티모달 모델의 이미지 생성 능력을 향상시키면서도 추가적인 반사 정보에 대한 민감도를 유지하는 것으로 나타났습니다. 구체적으로 오픈 소스 Qwen-image-2512를 기반으로 했을 때, GenEval 점수는 0.747에서 0.808로, GenEval2 Soft-TIFA 점수는 32.97에서 35.53으로 상당한 성능 향상을 보였습니다. 이는 외부 감독이나 지침 없이 멀티모달 모델을 사용할 때 사용자 경험을 향상시키기 위한 재귀적 자기 개선 연구에 중요한 통찰을 제공합니다.

또한, 더 강력한 외부 비평자(예: GPT5.6-Luna)를 사용한 실험에서는 강력한 판단 능력을 갖춘 멀티모달 모델이 더 높은 자기 진화 상한선을 예측할 수 있음을 보여줍니다. 하지만 자기 개선이 모든 작업에서 균일하지 않을 수 있으며, 다양한 작업에서 혼합된 텍스트 렌더링 결과가 나타났습니다. 따라서 본 연구는 외부 감독 없이 멀티모달 모델을 사용할 때의 사용자 경험을 개선하는 데 초점을 맞추고 있습니다.

Looped 트랜스포머와 Mixture-of-Experts(MoE)는 효율적인 스케일링을 위한 상호 보완적인 경로를 제공합니다. 여기서 재귀(recurrence)는 고정된 파라미터에서 계산 깊이를 증가시키고, MoE 희소성(sparsity)은 활성 컴퓨팅이 고정된 상태에서 전체 용량을 확장시킵니다. 기존의 스케일링 법칙들은 재귀나 희소성 중 하나만을 개별적으로 모델링했지만, 본 연구는 모델 크기 및 데이터와 함께 재귀와 희소성을 공동으로 모델링하는 최초의 스케일링 법칙인 루프 스케일링 법칙(Loop Scaling Laws)을 도입했습니다.

이 법칙의 핵심은 루핑을 통한 유효 파라미터 증가와 희소성이 이 증가분을 어떻게 높이는지를 특징짓는 경계가 있는 희소성 조건부 재귀 매핑에 있습니다. 이 법칙은 루프 모델의 홀드아웃 손실을 기존 대안들보다 더 정확하게 예측하며, 표준 밀집 모델 및 MoE 스케일링 법칙을 특수한 경우로 복원합니다. 또한 이 법칙들은 컴퓨팅 및 메모리 제약 조건 하에서 루프된 MoE 모델을 설계하기 위한 원칙적인 기반을 제공합니다.

추가적인 평가를 통해 두 축의 상호 보완적인 이점이 입증되었습니다. 희소성은 약 3배의 활성 파라미터 효율성을 제공하며, 재귀는 추론에 대해 약 2배의 전체 파라미터 효율성을 제공합니다. 이러한 공동 스케일링은 성능의 최전선을 더욱 발전시킵니다. 실질적인 확장 측면에서, 연구진은 이러한 이점이 조 단위 토큰 규모에서도 유지됨을 보여주었습니다. 동일한 훈련 컴퓨팅에서 법칙 기반 재귀를 사용한 루프된 MoE는 추론 벤치마크에서 비루프 MoE보다 약 2배 더 큰 성능을 달성하며, 재귀를 통해 테스트 시점 스케일링을 가능하게 합니다.

터미널 에이전트는 확률적 모델 생성을 통해 행동을 수행하지만, 유용한 행동을 생성하는 것만으로는 그 실행의 신뢰성을 보장할 수 없습니다. 잘못된 명령어(예: 잘못된 패키지 설치)는 모델이 더 나은 대안을 생성할 수 있음에도 불구하고 환경을 방해하여 후속 진행을 저해할 수 있습니다. 연구진은 모델과 하네스(harness) 경계에서 테스트 시간 컴퓨팅을 할당하는 것이 행동의 신뢰성과 궤적 성공률을 개선할 수 있는지 조사했습니다.

이를 위해 연구진은 Mid-Harness를 도입했는데, 이는 생성기와 하네스를 변경하지 않고 후보 행동을 실행 전에 샘플링하고 검증하는 방식입니다. TMAX-9B 생성기를 사용할 때, 약한 검증 하에서는 더 많은 행동 샘플링이 큰 이점을 주지 못하지만, 유능한 검증기가 동일한 생성기에서 유용한 대안을 활용할 수 있습니다. TerminalBench-Lite 환경에서 GPT-5.6 Sol 검증기를 사용했을 때, 기본 에이전트의 Pass@1 성공률은 50.00%에서 8개의 샘플링된 행동으로 68.03%로 상승했습니다.

더 나아가, 더 강력한 검증기에서 얻은 응답을 TMAX-9B 모델로 증류하여 행동 생성기를 변경하지 않고 Pass@1을 추가로 개선할 수 있었습니다. 또한 TMAX-9B를 TerminalBench-Lite에서 사용할 경우, 더 많은 궤적을 생성하는 것보다 행동 및 궤적 스케일링을 결합하는 것이 더 낮은 추정 토큰 비용으로 더 높은 성공률을 달성했습니다. 이러한 결과는 행동 스케일링이 터미널 에이전트에서 테스트 시간 컴퓨팅 스케일링을 위한 유망한 목표임을 시사합니다.

대규모 언어 모델의 발전으로 자동 게임 생성은 가능해졌으나, 플레이 가능한 수준을 넘어 생성된 게임을 안정적으로 개선하는 것은 여전히 어려운 과제입니다. 단순 반복적인 개선 방식은 소수의 테스트 케이스에 과적합되어 버그가 있거나 플레이어 상호작용에 대한 일반화 능력이 부족한 취약한 게임을 만들어냅니다.

이러한 문제를 해결하기 위해 본 논문은 재귀적 자기 개선을 갖춘 자율 에이전트 기반 게임 개발 프레임워크인 RSIGame을 소개합니다. RSIGame은 개발 과정을 보완적인 지역 루프와 전역 루프로 구성하여 체계화합니다. 구체적으로, 지역 루프는 실행 가능한 게임을 광범위하게 탐색하고 문제를 진단하며 개선하는 탐색-진단-개선 루프를 수행하며, 진화하는 체크리스트를 통해 새로운 테스트 및 개선 지침을 지속적으로 축적합니다.

또한 전역 루프는 전체 품질을 추적하고 최적의 체크포인트를 보존하며 장기 개발 과정에서 포화나 성능 저하를 감지합니다. RSIGame은 테스트 시간 개선을 넘어 성공적인 개발 경험을 훈련을 통해 생성기에 내재화하는 것을 목표로 합니다.

140개의 GameCraft-Bench 작업, 두 가지 게임 엔진, 다섯 가지 생성기를 대상으로 RSIGame은 일치된 개발 예산 하에서 게임 품질을 일관되게 향상시켰습니다. 특히 경험 내재화는 Qwen3.8-27B 모델이 Godot에서 61.38, Phaser에서 58.53의 점수를 달성하여 GPT-5.5의 단일 시점 점수를 능가했으며, 동시에 Qwen의 생성 토큰을 11배 감소시키는 성과를 보였습니다.

취약점 패치 검색은 취약점 관리 워크플로우의 기반이지만, 주요 보안 데이터베이스의 CVE 중 60%에서 63%가 패치 링크를 포함하고 있지 않아 많은 어려움이 있습니다. 이에 본 연구는 하이브리드 1단계 검색기와 에이전트 기반 2단계 검사 루프를 결합한 2단계 패치 검색 시스템인 PatchHolmes를 제시합니다.

PatchHolmes는 개별 후보를 독립적으로 점수화하는 기존 방식과 달리, 2단계 에이전트가 상위 100개의 후보 목록 전체를 읽고 4가지 도구를 통해 3~10개의 커밋을 선별적으로 검토하여 최적의 단일 커밋을 제출합니다. 이러한 리스트 기반 에이전트 루프를 통해 PatchHolmes는 GitHubAD에서 단일 에이전트 대화로 Favia 분류기보다 25.34% Recall@1을, retrieve-and-CoT 기준선보다 31.40% Recall@1을 달성했습니다.

특히, 이 시스템은 기존의 검색기 상위 후보보다 27.32% Recall@1을 추가로 확보했으며, PatchFinder의 최적 선택(24.28%)을 39.86%까지 끌어올렸습니다. 이는 LLM 백본을 Qwen 계열에서 gpt-oss로 변경해도 Recall@1에 미치는 영향이 미미하며, 이득이 리스트 기반 에이전트 루프에서 발생함을 보여줍니다.

PatchHolmes는 파인튜닝이나 외부 검색 API 없이 로컬 Git 저장소 위에서 고정된 오픈 웨이트 모델로 전체 시스템을 실행하여 실용적인 패치 검색 솔루션을 제공합니다.

Anthropic의 에이전트 스킬 패키지가 SKILL.md 디렉토리에 절차적 지식을 통합하면서 오픈 소스 집합이 230,000개 이상으로 성장하여 스킬 작성보다는 선택이 병목이 되고 있습니다. 기존 연구에서는 에이전트 스스로 선택을 수행하는 LLM 기반 검색 루프가 선호되었는데, 이는 에이전트의 결정 루프 내에서 쿼리를 재작성하고 후보를 정제하며 각 작업마다 LLM 토큰을 지불하는 방식입니다.

본 논문은 표준 정보 검색(IR) 레시피를 기반으로 구축된 오픈 소스 2단계 스킬 검색기인 SkillSeek을 제시합니다. SkillSeek은 BGE 기반의 바이인코더와 소형 크로스 인코더로 구성되어 있으며, SkillsBench 벤치마크에서 89개 작업에 걸쳐 LLM 기반 루프와 동등한 성능을 보였습니다.

실험 결과, SkillSeek은 추가 비용 없이 LLM 기반 루프와 유사한 결과를 달성했으며, 특히 단순 BM25만으로도 네 가지 설정 중 세 가지에서 기존 루프보다 높은 통과율을 기록했습니다. 또한, 총 시도당 지출 비용은 51.30달러에서 27.54달러로 크게 감소하여 비용 효율성을 입증했습니다.

이러한 결과는 에이전트 스킬 검색에 있어 표준 IR 레시피가 강력한 기본값임을 시사하며, 결정론적 방법이 부족한 경우에 LLM 기반 대안이 자연스럽게 적용될 수 있음을 보여줍니다.

에이전트 활용은 인간이 설계한 워크플로우를 통해 언어 모델을 개선하지만, 모델의 능력이 성장함에 따라 신뢰할 수 없는 지침이 실행을 제약할 수 있습니다. 연구진은 유용한 지침으로부터 이익을 얻으면서도 신뢰할 수 없는 지침을 무시하는 능력을 '생각의 틀을 벗어나는 사고(thinking outside the box)'라고 정의합니다.

이를 측정하기 위해 연구진은 작업과 모델을 고정하고 워크플로우의 신뢰도를 변화시켜 모델이 지침에 의존하는 방식을 분리하는 Box^2-Bench를 도입했습니다. 이 벤치마크에서 최첨단 모델들은 신뢰할 수 있는 지침에서 이점을 얻지만, 지침이 오해의 소지가 있거나 신뢰성이 떨어질 경우 취약함을 보였습니다.

이러한 능력을 학습시키기 위해 연구진은 나쁜 워크플로우로 두 개의 오픈 웨이트 모델을 훈련하고 좋은 워크플로우를 평가에 사용했습니다. 또한 견고성을 개선하기 위해 반사실적 지도 미세 조정(counterfactual supervised fine-tuning)과 유용한 워크플로우 사용을 증가시키는 방향으로 균형을 이동시키는 결과 기반 강화 학습(outcome-based reinforcement learning)이라는 두 가지 보완적인 훈련 전략을 탐구했습니다.

연구 결과는 이러한 행동이 워크플로우를 넘어 다른 형태의 외부 정보에도 확장되어 피어 교정 및 손상된 메모리에 대한 견고성을 개선한다는 것을 보여줍니다. 결과적으로, 이 연구는 작업 성능만으로는 포착되지 않는 에이전트 신뢰도의 차원으로 불확실한 외부 정보에 대한 선택적 의존성을 식별합니다.

LLM 에이전트의 실패한 롤아웃은 최종 보상보다 더 많은 정보를 포함하고 있습니다. 이는 에이전트가 관찰한 정보, 선택한 행동, 환경의 응답을 포함하며, 이러한 경험을 학습에 재사용하기 위해서는 수정 결정을 내리고 구체적인 대안을 테스트해야 합니다. 이러한 문제를 해결하기 위해 텍스트 기반 에이전트 시스템에 특화된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다.

AED는 33개의 환경, 19개의 하네스 패밀리, 23개의 정책 모델에 걸쳐 9,961개의 소스 작업에서 수집된 50,228개의 오류 진단 쌍으로 구성되어 있습니다. 이 데이터셋은 원본 롤아웃을 반복하지 않고도 교차 설정 실패 분석 및 재진단을 지원하기 위해 소스 추적과 실행 메타데이터를 보존합니다.

연구팀은 에이전트 오류를 훈련으로 전환하는 5단계 Agentic Error-to-Training(AET) 파이프라인을 통해 자연적인 실패를 수집하고 진단 및 제안된 수정 사항을 생성한 후 기록된 증거와 비교합니다. 이 과정에서 재현이 지원될 경우, 수정 사항을 동일한 체크포인트의 원본 행동 재시도와 비교하여 진단 및 액터 복구를 위한 별도의 훈련 뷰를 구축합니다.

이러한 방법론을 통해 첫 번째 제안 수정 사항은 검증 통과율을 18.4%에서 51.1%로 높여 32.7%p의 이득을 가져왔습니다. 또한, 별도로 동결된 진단 릴리스를 사용하여 1,656개의 소스 작업에 대해 전체 진단 미세 조정을 수행했을 때 Qwen3-8B 모델의 내부 교사 레이블과의 정확한 단계 일치도가 47.2%에서 63.6%로 향상되었습니다. 이는 세 개의 시드에서 943개의 테스트 케이스에 걸쳐 평균된 결과이며, 액터 훈련 레시피 비교에서는 행동 전용 복구 훈련이 성공 전용 훈련보다 WebShop-lite에서 6.67 퍼센트 포인트 더 높은 점수를 기록했습니다.

거대 언어 모델(LLM)은 추천 재순위 지정에 유망한 것으로 보이지만, 이를 사용하면 추천 품질과 서비스 효율성 사이에 중요한 상충 관계가 발생합니다. 연구진은 재순위 지정 작업이 미리 정의된 후보 항목들 간의 구조화된 선택이라는 점을 고려할 때, 의사 결정 지향 모델이 유용한 대안이 될 수 있는지 탐구했습니다.

이를 위해 연구팀은 개인화된 추천 재순위 지정을 위한 Jev 모델을 실험하고, 여러 아마존 리뷰 도메인과 후보 집합 크기에 걸쳐 추천 특화 모델 및 점별(pointwise) 및 목록별(listwise) Qwen 재순위 모델과 비교했습니다. 이 연구는 추천 효과성과 관찰된 서비스 지연 시간을 모두 평가했습니다.

연구 결과에 따르면 Jev는 평가된 기준 모델 대비 강력한 추천 효과성을 유지하면서도 점별 Qwen 재순위 모델보다 훨씬 완만한 지연 시간 증가를 보였습니다. 다만, Jev의 관찰된 서비스 지연 시간은 추천 특화 모델보다 상당히 높게 나타났습니다. 이러한 특성들은 Jev가 후보 크기와 도메인 전반에 걸쳐 뚜렷한 품질-지연 시간 작동 영역을 차지함을 보여줍니다.

이러한 발견은 구조화된 출력 공간을 가진 추천 및 기타 순위 지정 작업에 대해 의사 결정 지향 모델을 추가로 조사할 필요성을 제기합니다.

트랜스포머 언어 모델은 토큰당 제한된 연산을 수행하며, 이는 모델이 수행하거나 검증할 수 있는 작업의 범위를 제한한다는 연구 결과가 제시되었습니다. 현재 LLM 서빙은 요청 간 상태가 없는(stateless) 방식으로 이루어져, 모델이 이전 질문에 대한 답변을 위해 문서의 어텐션 상태를 재계산해야 하는 비효율성이 발생합니다. 실제 데이터셋 7가지에서 프롬프트 토큰의 98.7%가 모델이 이미 읽었던 텍스트였음에도 불구하고 이러한 재계산이 필요했습니다.

연구진은 vLLM, SGLang, llama.cpp 등의 메모리 레이어인 Galahad를 제시하여 문서 읽기를 일회성 비용으로 만들고자 했습니다. 구체적으로 Taliesin은 텍스트 블록에 대한 키-값(KV) 상태를 저장하고 동일한 바이트를 포함하는 다음 요청에서 이를 로드하여 재계산을 방지합니다. 또한 Blaise는 문서 자체를 보존하고 질문에 필요한 섹션만 모델에 전달하여 효율성을 높입니다.

이러한 접근 방식을 통해 97,000 토큰의 코퍼스에서 100개의 사실을 회상 테스트했을 때, Taliesin만으로도 모델은 llama.cpp 환경에서 3.0초와 572J의 에너지로 98개의 질문에 답할 수 있었습니다. Blaise를 추가하여 질문당 약 668개의 토큰을 읽게 한 결과, 모든 런타임에서 100/100의 질문에 답했으며 0.59~0.64초와 200~213J의 에너지로 처리했습니다.

이 결과는 코퍼스를 저장하는 것이 약 100초와 28kJ의 일회성 비용이며, 이 에너지는 13번의 질문 후에 회수될 수 있음을 보여줍니다. 또한 복원된 상태는 비트 단위로 동일하며, Galahad는 테스트한 30개 모델 모두에서 작동하며, 검증에 실패하는 로드는 재계산하는 실패 폐쇄(fails closed) 방식을 채택하여 LLM 서빙을 상태 없는 방식에서 상태 있는 방식으로 전환시킵니다.

언폴리 디스틸레이션(OPD)은 언어 에이전트를 훈련하는 데 유망한 접근 방식이지만, 다중 턴 상호작용에서는 잘못된 행동이 이후 에이전트가 마주하는 상태를 변경하여 오류가 턴별로 누적되는 문제가 발생합니다. 예비 실험 결과, Qwen3 모델(8B에서 235B)에 걸쳐 실패한 롤아웃의 절반 이상이 목표 달성에서 멀어지게 하는 결정적인 실수, 즉 피벗 실수(pivotal mistake)를 포함하고 있으며 이러한 실수는 보통 초기에 발생합니다.

이러한 피벗 실수는 회복이 가능하며, 결정적인 실수 이후 몇 턴 동안 모델을 안내하면 작업 성공을 복원할 수 있습니다. 이에 연구진은 피벗 실수를 방지하고 그로 인해 발생하는 상태에서 회복하도록 학생 모델을 공동으로 훈련하는 온-폴리 디스틸레이션 프레임워크인 PivotOPD를 제안했습니다. 이 방법은 각 피벗 실수 발생 시, 교사 모델이 정답 행동과 다음 몇 턴에 걸친 회복 행동을 제시하여 학생 모델을 지도합니다.

PivotOPD는 피벗 실수를 방지하기 위해 정답 행동을 역 KL(reverse KL)을 사용하여 학생을 유도하고, 회복 행동을 전달하기 위해 회복 행동을 순방향 KL(forward KL)을 사용하여 학생이 드물게 샘플링하는 회복 행동을 전이시키는 방식으로 작동합니다. ALFWorld, WebShop, 검색 기반 QA 등 13가지 기준에 대해 PivotOPD는 Qwen3-1.7B 및 Qwen3-8B 학생 모델에서 가장 강력한 평균 성능을 달성했습니다.

이러한 성능 향상은 소프트웨어 엔지니어링 도메인에서도 나타났는데, Nemotron-3.5 학생 모델의 SWE-Bench 해결률을 3.2% 향상시켰습니다. 이는 PivotOPD가 복잡한 다중 턴 환경에서 에이전트의 오류를 관리하고 회복하는 능력을 효과적으로 훈련시킬 수 있음을 보여줍니다.

행동 복제(Behavioral Cloning)는 동일한 관측값에 대해 여러 유효한 행동이 존재하는 다중 모드(multimodality) 전문가 행동을 표현할 때 어려움을 겪습니다. 본 연구는 생성적 행동 복제 정책이 이러한 다중 모드 행동을 어떻게 표현하는지 탐구하고 모델 매개변수화 전반에 걸친 병목 현상을 식별합니다.

잠재 변수 정책의 경우, 표현된 모드를 보존하기 위해서는 잠재 표현에 행동 조건화된 정보가 필요합니다. 과도한 사후-사전 정규화는 이러한 정보를 억제하여 정책이 표현된 모드들을 구별하지 못하게 만듭니다. 모드 정보를 보존하기 위해서는 약하거나 집합적인 정규화를 사용할 수 있지만, 이는 배포 시점의 사전 분포가 관련 잠재 영역을 포괄하도록 보장해야 하는 문제로 어려움을 전환시킵니다.

행동 공간 생성 정책에서는 기반 공간에서 행동으로의 전송의 부드러움에 의해 다중 모드성이 제약됩니다. 리프시츠 상수(Lipschitz constant)가 작은 맵은 여러 잘 분리된 모드에 상당한 확률을 할당할 수 없습니다. 따라서 많은 모드를 포괄하려면 기반 공간에서 날카로운 전환이나 행동 공간에서 지원 외 연결 영역이 필요합니다.

이러한 메커니즘은 합성 다중 모드 내비게이션 및 물리 로봇 이중 모드 조작 실험을 통해 뒷받침됩니다. 그러나 표준 로봇 시뮬레이션 벤치마크에서는 결정론적 회귀가 여전히 경쟁력을 가지므로 조건부 다중 모드성이 제한적이라는 분석 결과도 제시됩니다.

코딩 에이전트에게 전체 애플리케이션 개발을 위임할 때 단순히 그럴듯한 결과물을 생성하는 것을 넘어 의도된 디자인을 보존하는 것이 필수적입니다. 특히 게임 개발은 게임 로직, 시각적 렌더링, 플레이어 상호작용 등 요구사항들이 상호 연관되어야 하므로 복잡한 테스트 환경을 제공합니다. 그러나 기존의 게임 개발 벤치마크는 간결한 사양을 사용하며 장문의 게임 디자인 문서(GDD)에서 이러한 상호 의존적인 요구사항들을 평가하는 데 제한적인 지원을 제공합니다.

이에 연구진은 에이전트를 통한 엔드투엔드 게임 개발을 평가하기 위해 100개의 장문 GDD를 기반으로 하는 A2Z GameSpec-Bench라는 벤치마크를 소개합니다. 이 벤치마크는 게임이 GDD 요구사항을 충족하고 그들 사이의 관계를 보존하는지 확인하여 충실도(faithfulness)를 측정합니다. 각 GDD는 규칙, 제약 조건, 선행 관계를 포함하는 의존성 인식 계약으로 변환됩니다.

이 방법론은 소스 코드 검사와 에이전트가 생성한 테스트 정책을 결합하여 시나리오 기반 리플레이 및 적응형 플레이 테스트를 가능하게 합니다. 평가 결과, 현재 에이전트들은 코드 구현과 실제 플레이 사이의 상호 의존적인 요구사항들을 공동으로 만족시키는 데 어려움을 겪는 것으로 나타났습니다. 요구사항별 피드백을 제공함으로써 GDD 충실도는 두 차례의 자체 수정 후 10.9% 향상되었습니다.

A2Z GameSpec-Bench는 구현 판단을 넘어선 엔드투엔드 사양 준수 능력을 평가하며, 보다 충실한 게임 개발을 지원하기 위한 목표 지향적인 피드백을 제공합니다. 관련 코드와 데이터셋은 https://a2z-gamespec-bench.github.io에서 확인할 수 있습니다.

고압축 토크나이저는 잠재 이미지 생성 모델을 확장하는 데 필수적이지만, 과도한 압축은 재구성 충실도와 생성 효율성 사이에 근본적인 상충 관계를 만듭니다. 고압축 이미지 인코더는 확산 학습의 학습 난이도를 높여 모델 수렴을 느리게 만듭니다. 최근 표현 오토인코더는 사전 학습된 의미론적 인코더로 VAE 인코더를 대체하여 잠재 특징의 표현 능력을 개선함으로써 확산 학습 속도를 높이지만, 이는 보통 중간 수준의 압축에 국한되어 충실한 재구성에 필요한 픽셀 수준 세부 정보를 손실합니다.

이러한 문제들을 해결하기 위해 본 논문은 고압축과 빠른 확산 모델 수렴을 동시에 달성하도록 설계된 DC-SAE(Decoupled Compact Semantic Autoencoder)를 제안합니다. DC-SAE는 고압축 이미지 생성을 목표로 하며, 두 가지 핵심 구성 요소로 이루어져 있습니다. 하나는 의미론적 인코더를 활용하여 더 높은 압축 비율을 가능하게 하는 거시 수준의 아키텍처 설계이고, 다른 하나는 낮은 수준의 세부 정보를 보존하여 높은 충실도의 이미지 재구성을 보장하는 픽셀 수준 인코더입니다.

실험 결과, DC-SAE는 이미지 생성 작업에서 뛰어난 성능을 보이며 효율적인 학습 역학과 압축된 잠재 표현을 모두 달성했습니다. 특히 ImageNet 데이터셋(512x512 해상도)에서 DC-SAE는 32배의 공간 압축을 달성했으며, PSNR은 29.79, gFID는 3.37을 기록했습니다. 이는 기존의 고압축 토크나이저 기반의 DC-AE 대비 PSNR에서 13.5%, gFID에서 54.9%를 크게 능가하며, 비슷한 처리량과 더 빠른 확산 모델 학습 수렴을 유지합니다.

나아가 DC-SAE를 활용한 16억 파라미터 DiT 모델은 1024x1024 해상도에서 텍스트-이미지 생성에 대해 GenEval에서 0.84, DPG-Bench에서 86.007의 성능을 달성했습니다. 이는 고압축 잠재 공간을 활용하여 고품질의 이미지 생성과 효율적인 확산 학습을 동시에 실현할 수 있음을 보여줍니다.

비디오 월드 모델은 물리적 세계의 진화를 예측해야 하지만, 종종 기본적인 물리 원리를 위반하는 시각적으로 그럴듯한 비디오를 생성합니다. 기존 접근 방식은 신뢰할 수 있는 생성을 위해 물리적 지식을 표현하는 데 자연어만으로는 불충분하다고 가정하며, 따라서 시각적, 잠재적, 수치적 또는 계획 기반 신호를 추가합니다. 이 논문은 이러한 가정을 재검토하고 데이터 큐레이션, 모델 훈련, 비디오 생성 전반에 걸쳐 물리적 언어를 공유되고 최적화 가능한 표현으로 취급하는 자체 진화 프레임워크인 Physis-Lang을 소개합니다.

Physis-Lang은 관련 개체, 원인, 상호작용, 지배 원리, 시간적 진화 및 효과를 설명하는 언어를 통해 물리적 과정을 표현합니다. 이 표현을 개선하기 위해 물리적 과정을 원자적 진술로 분해하고 재현율과 정밀도를 사용하여 캡션을 평가하는 PhysCapBench를 구축했습니다. 에이전트 루프는 진술 수준의 오류를 반복적으로 분석하고 물리적 캡션을 생성하는 데 사용되는 지침을 개선합니다.

Physis-Lang은 모델의 부족함을 텍스트 설명으로 변환하고 언어 기반 검색을 사용하여 누락된 물리적 과정을 다루는 시각적으로 다양한 비디오를 식별합니다. Wan 및 Cosmos 백본을 사용한 네 가지 널리 사용되는 물리 비디오 벤치마크에 대한 실험 결과는 물리적 타당성의 일관된 개선을 보여줍니다. 특히 오픈 소스 Cosmos3-Nano 백본에서 시작하여 Physis-Lang이 향상된 모델은 선도적인 독점 Veo 3.1 모델을 능가합니다.

시각 지각은 일반적으로 이미지 한 번의 시선에서 예측하는 것으로 간주되며, 이는 이미지 내용과 모델의 매개변수 지식이 질문을 해결하기에 충분하다는 가정에 기반합니다. 그러나 세밀한 시각적 세부 사항이나 지식 집약적이고 최신 정보가 필요한 실제 시나리오에서는 이러한 가정이 종종 실패합니다. 따라서 우리는 이러한 상황을 충분한 증거 부족 하의 지각으로 정의하고, 단일 시선을 넘어 정보를 얻을 수 있는 에이전트적 과정으로 지각을 공식화합니다.

이러한 새로운 접근 방식을 위해 훈련 데이터의 부재를 해결하고자 EviRover-SFT-5K와 EviRover-RL-12K라는 두 가지 전용 데이터 생성 파이프라인을 설계했습니다. 또한 다섯 가지 지각 범주에 걸쳐 688개의 사례로 구성된 인간 검증 벤치마크인 EviLens를 구축했습니다. 이 데이터를 기반으로, 우리는 지도 미세 조정(SFT) 후 에이전트 강화 학습(RL)을 사용하여 상호작용을 통해 지각 질문을 해결하도록 명시적으로 훈련된 최초의 지각 에이전트인 EviRover를 제시합니다.

실험 결과, 4B 규모의 EviRover는 EviLens에서 백본 모델보다 평균 30점 높은 성능을 보이며 고급 독점 모델과 유사한 성능에 도달했습니다. 이러한 성능 향상은 EviLens를 넘어 WebEyes와 기존의 시각 인식 벤치마크, 그리고 BrowseComp-VL을 포함한 일반적인 멀티모달 벤치마크로 확장되어 BrowseComp-VL에서 15점의 개선을 달성했습니다. 모든 코드, 모델, 데이터는 공개되었습니다.

게임 기반 기술 발견(Game-Guided Skill Discovery, GGSD) 프레임워크는 게임 내 셀프 플레이를 활용하여 인간이 직접 조작할 수 있는 운동 기술을 발견하는 방법을 제시합니다. 이 기술은 낮은 수준의 행동 대신 소수의 학습된 행동을 통해 구체적인 에이전트를 제어하는 간결한 추상화인 플레이어블 스킬(Playable Skills)을 제공합니다. 효과적인 플레이어블 스킬은 의미적으로 구별되고 해석 가능하며 표현력이 높아야 하는데, 기존의 비지도 기술 방법들은 이러한 속성들을 동시에 달성하는 데 어려움을 겪었습니다.

GGSD는 경쟁적인 게임 플레이를 통해 기술 발견을 기반으로 하여 이러한 요구 사항들을 충족시킵니다. 이 방법은 계층적 에이전트가 과거의 자신들과 경쟁하도록 하여, 고수준 정책이 제한된 이산적인 스킬 집합에서 선택하고 스킬 조건화된 저수준 정책이 해당 행동을 학습하도록 합니다. 훈련 후에는 인간이 고수준 정책을 대체하여 동일한 이산적인 스킬을 통해 에이전트를 직접 제어할 수 있습니다.

또한, 소수의 고수준 행동에도 불구하고 스킬 전환은 개별 기본 동작을 넘어선 새로운 콤보 행동을 발생시켜 표현력을 확장합니다. Ant, Franka-arm, Unitree G1 환경에서 GGSD를 적용한 결과, 인간이 조합하여 보지 못했던 미로(Maze)나 큐브 푸시(CubePush)와 같은 과제를 추가 훈련 없이 해결할 수 있는 인간이 플레이 가능한 스킬을 생성했습니다. 상호작용 데모는 https://ggsd-demo.github.io에서 확인할 수 있습니다.

직접 결정 모델은 텍스트를 낮은 지연 시간의 구조화된 레이블과 점수로 변환하여 분류 및 자동 평가에 유용하지만, 신뢰성을 위해서는 정확도 외에도 사용자가 제공한 순위 결정 척도를 충실히 사용해야 합니다. 연구진은 JEV~1.13 및 세 가지 공개 KEV 모델을 분석하여 이러한 모델이 내재적으로 겪는 순위 척도 활용 편향을 조사했습니다.

분석 결과, 모델은 74.95%의 정확도와 거의 균형 잡힌 정답 레이블을 달성했음에도 불구하고, 예측의 38.8%와 오류의 51.3%를 중립(Neutral)으로 할당하는 경향을 보였습니다. 또한 36개의 순위 데이터셋에서 최종 결정은 효과적인 정답 지원의 67~76%만을 사용했으며, 이는 네 가지 명목 작업에서는 87~102%에 달하는 값과 대조됩니다.

이러한 압축 현상은 후보 순서를 무작위화해도 제거되지 않으며, 스케일을 K=2에서 K=14로 조정해도 모델의 활용도는 26~75%에 머물렀습니다. 연구진은 이러한 현상을 정확도, 정답 불균형, 고정된 위치, 후보 개수와는 구별되는 '순위 척도 활용 편향(ordinal scale-utilization bias)'으로 명명했습니다.

이 편향을 완화하기 위해 목표 기반의 BA-LoRA 후처리 훈련을 적용했을 때, KEV 크기와 관계없이 여덟 가지 지도 학습 척도에서 정답 대비 활용도를 약 47%에서 86%로 높일 수 있음을 확인했습니다. 이 연구는 모델의 압축이 불변적인 아키텍처 한계가 아니라 학습 가능하고 수정 가능한 현상임을 보여줍니다.