읽을 가치가 있는 기사만, 짧고 또렷하게.

언어 모델을 둘러싼 하네스(harness)는 에이전트 성능을 결정하는 핵심 요소입니다. 기존의 최적화 방법들은 전체 프로그램을 탐색하는 방식으로 작동하여 개별 메커니즘을 분리하고 재사용하기 어렵다는 한계가 있었습니다. 이에 본 연구는 하네스를 원자화된 플러그인(plugin)들의 조합으로 정의하고, 이 플러그인을 중심으로 하네스의 진화를 조직하는 PluginRSI를 제안합니다.

PluginRSI는 개별 플러그인들을 독립적으로 개선하고 공유 라이브러리에 축적한 다음, 이를 각 반복마다 새로운 하네스로 재결합하는 방식으로 작동합니다. 이 접근 방식은 소프트웨어 엔지니어링, 명령줄 상호작용, 질문 응답과 같은 다양한 작업에서 기존의 하네스 최적화 방법들보다 우수한 성능을 보입니다.

결과적으로 도출된 하네스는 추가적인 최적화 없이 다른 솔버 모델로 전이될 때도 그 이점을 유지합니다. 또한 발전된 플러그인 라이브러리는 초기 하네스에서 후속 최적화를 가속화하여 보지 못한 작업에서 더 빠르고 높은 수렴을 가능하게 합니다. 이는 재사용 가능한 메커니즘을 축적하는 것이 지속적인 하네스 개선을 위한 효과적인 기반이 됨을 보여줍니다.

새로운 로그 구조 변형인 Extender를 소개하며 표준 트랜스포머 아키텍처를 개선한 연구 결과가 발표되었습니다. Extender는 각 레이어가 잔차 업데이트 $\delta_\ell$와 더 작은 확장 채널 $\epsilon_\ell$을 모두 출력하는 방식으로 작동하며, 이를 통해 지속적인 어텐션 메모리 사용량을 크게 줄입니다. 기존 트랜스포머가 잔차 채널 $h$를 통해 정보를 전달하는 것과 달리, Extender는 모든 레이어의 KV 투영 입력에 필요한 전체 정보를 확장 채널 $x$에 담아 메모리 효율성을 높입니다.

이러한 구조적 변화는 지속적인 어텐션 메모리 사용량을 $2Ld_{model}$에서 $\sum|\epsilon_\ell|$로 감소시킵니다. 연구진은 확장 채널 크기 $|\epsilon_\ell|=32$일 때, 199M에서 924M 파라미터 규모에서 단기 컨텍스트(CORE) 작업에서는 트랜스포머와 동일한 정확도를 달성했습니다.

더 나아가, Extender는 장기 컨텍스트(RULER) 작업에서 트랜스포머의 정확도를 능가하는 성능을 보였습니다. 특히 1664차원, 924M 모델의 경우, Extender의 지속적인 어텐션 메모리 사용량은 MHA(Multi-Head Attention) 대비 104배 작아지는 놀라운 메모리 절감을 보여줍니다.

이러한 메모리 절감 효과는 모델의 폭이 증가함에 따라 지속적으로 커지므로, Extender는 대규모 모델의 효율적인 학습과 추론에 매우 유용한 대안이 될 수 있습니다.

비전-언어 모델(VLM)이 긴 비디오와 연속 스트림을 이해하는 데 사용되지만, 비디오 길이에 따라 밀집된 시각 토큰이 축적되어 장거리 컨텍스트 추론이 매우 비용이 많이 듭니다. 기존의 학습 없는 시각 토큰 선택 방법들은 비용을 줄이지만 일관된 사건 증거를 잃거나 최근 관찰과 장기 기록을 구별하지 못하는 한계가 있습니다.

이에 연구진은 경계가 있는 시각 메모리를 구축하기 위한 학습 없는 프레임워크인 KeyRec을 제안했습니다. KeyRec은 질의에 구애받지 않는 작문 과정에서 세밀한 최근 관찰을 시각 캐시에 보존하고 역사적 증거를 구조화된 이벤트 은행으로 정리합니다. 또한 온라인 추가-병합-제거 업데이트를 통해 후보 이벤트를 저장된 이벤트와의 참신성에 따라 제안하며, 텍스트 전용 라우터는 과거 프레임을 재처리하지 않고 최근 메모리와 이벤트 메모리 사이에 고정된 읽기 예산을 적응적으로 할당합니다.

KeyRec은 모델 중심의 시각 임베딩에서 작동하며 모듈형 인코더-프로젝터 VLM과 인코더 및 프로젝터가 없는 NEO-ov 아키텍처 모두를 지원합니다. 네 가지 스트리밍 및 장편 비디오 벤치마크와 세 가지 VLM 백본을 통해 KeyRec은 전체 시각 토큰 예산의 10%만을 사용하여 15가지 설정 중 13가지에서 최고의 압축 성능을 달성했습니다.

이 결과는 실시간 질문에서 기존의 가장 강력한 압축 기준선보다 2.21점에서 18.37점 더 높은 성능을 보이며, 장편 비디오 설정 중 다섯 가지에서 최고의 압축 결과를 달성하고 모든 NEO-ov 2B 설정에서 가장 우수한 성능을 보였습니다.

LLM이 여러 후보 문서나 응답을 동시에 평가하는 상황에서 순서에 따른 의존성 문제를 해결하는 연구가 제시되었습니다. 패시지 재순위 지정, 응답 순위 지정, 다중 문서 질의응답과 같은 작업에서 LLM은 여러 후보에 대해 점수를 매기며, 이 점수는 임계값 설정, 독자의 답변, 선호 학습에 사용되는 결정에 영향을 미칩니다.

하지만 등가한 순위 품질이 반드시 등가한 결정을 의미하지는 않습니다. 연구 결과에 따르면, 0.010 nDCG@10 내에서 5개의 훈련된 평가자가 순서를 바꿀 때 집합 중첩이 0.66~0.84에 불과한 세트를 유지하는 것으로 나타났습니다. 프롬프트 시간 변경으로는 이러한 의존성을 해결할 수 없으며, 순위 품질을 개선하는 것이 결정 안정성을 측정하는 데는 영향을 미치지 않았습니다.

연구진은 순서 일관성 SFT(Order-consistency SFT, OC-SFT)를 도입하여 이러한 의존성을 완화하는 방법을 제안했습니다. OC-SFT는 후보 점수 간의 불일치를 페널티화하여 가중치에서 이를 줄입니다. 이 방법은 모든 세 가지 작업에서 훈련된 평가자들 간의 결정 안정성을 유지하며 순위 품질도 보존합니다.

OC-SFT는 순서 평균 증류(order-averaged distillation)보다 12개의 기본 모델에서 더 안정적이며, 평균 오프더쉘프 순열보다 더 많은 세트를 유지합니다. 따라서 이러한 평가자들을 비교할 때는 순위 품질뿐만 아니라 임계값이 유지하는 내용과 독자가 답변하는 내용에 초점을 맞춰야 합니다.

자연어 서비스 요청은 실행 시작 전에 언어 모델의 결정을 필요로 하며 이는 요청의 지연 시간 예산 일부를 소모합니다. 이 연구는 이러한 오버헤드를 줄이면서 서비스 완료를 유지하기 위해 Jev의 의사 결정 지향 API를 엣지 서비스 오케스트레이션에 통합하는 방법을 제시합니다. Jev는 4~8개의 경계가 있는 의도 필드를 추출하고 공유 검증기, 승인 정책, 스케줄러를 적용하여 요청 전체 시간 동안의 결정 대기 시간을 고려합니다.

연구진은 Jev, 두 개의 자체 호스팅된 의사 결정 모델, 그리고 세 개의 호스팅된 대규모 언어 모델(LLM)을 8,280개의 검증된 요청과 실시간 승인 경로를 통해 비교했습니다. 그 결과 Jev는 가장 빠른 LLM 대비 평균 결정 지연 시간을 22.7%에서 64.5%까지 줄였습니다. 이러한 지연 시간 감소는 입력 크기, 계약 폭 또는 카탈로그 크기에 관계없이 유지됩니다.

또한 Jev는 네 필드 계약에서 올바른 결정당 API 수수료를 59.7%에서 80.9%까지 낮추는 비용 효율성 이점을 제공합니다. 실시간 승인 경로에서 Jev는 LLM이 0.1 미만일 때도 요청의 0.91~0.95를 정확하고 제시간에 유지합니다. 이는 반복되는 설명 캐싱이 지연 시간에 큰 영향을 미치지 않는 반면, Jev의 이점은 새로운 결정에 있습니다.

이러한 결과는 경계가 있는 계약에 대한 지연 시간에 구애받는 승인에 대해 의사 결정 모델을 대체할 수 있음을 뒷받침합니다. 이는 엣지 환경에서 서비스 오케스트레이션의 지연 시간을 개선하는 데 중요한 시사점을 제공합니다.

다학제 종양 회의는 전문가들의 논의를 통해 다각적인 임상 관찰과 환자의 장기 이력을 통합하지만, 기존 벤치마크는 이러한 실제 논의 경로를 포착하지 못했습니다. 이에 연구진은 유튜브에 공개된 종양 회의 녹화본 12,534분에서 전사한 데이터를 기반으로 611건의 환자 사례와 10개 전문 분야의 19,157회 논의 턴을 포함하는 OpenTumorBoard라는 벤치마크를 소개합니다.

이 벤치마크는 두 가지 설정으로 평가를 진행합니다. 첫째는 실제 논의 중 임상적으로 중요한 질문에 LLM이 응답하는 SPECIALIST TURN이며, 둘째는 치료 권고, 수술 계획, 다음 조치 및 임상 시험 매칭에 대한 합의를 생성하는 BOARD SIMULATION입니다. 14개의 일반 목적 및 의료 LLM을 평가한 결과, 최고 성능 모델들은 전문가 답변과의 임상 동등성에서 5점 만점에 3.43점, 기록된 회의 결론과의 일치도에서 2.78점을 기록하며 상당한 한계를 보였습니다.

하지만 실제 논의 경로가 모델 적응을 지원한다는 점이 밝혀졌으며, 지도 미세 조정과 강화 학습을 통해 성능이 향상되었습니다. 또한 세 명의 의학 박사들이 벤치마크의 일부를 검토하여 환자 사례의 높은 정보 포괄성과 사실성, 그리고 추출된 합의 결론의 강력한 충실도를 확인했습니다.

연구팀은 OpenTumorBoard와 자동 큐레이션 파이프라인을 공개하여 다학제적이고 개인화된 암 의사 결정을 위한 LLM 개발 및 평가를 지원할 계획입니다.

다단계 에이전트는 평평한 액션 스트림으로 훈련되는데, 이는 반복되는 하위 절차나 인간이 재사용 가능한 루틴을 통해 상향식으로 계획할 수 있게 하는 계층적 구조를 무시합니다. 현재의 평평한 훈련 방식은 각 궤적을 내용이 허용하는 만큼 충분히 활용하지 못합니다. 최근 에이전트들은 이 구조를 컨텍스트 내의 LLM 작성 기술로만 사용하고 가중치에는 반영하지 않아, 그 성능 향상이 검색 능력(retrieval)을 넘어 일반화되지 못하는 한계가 있습니다.

연구진은 이러한 계층 구조를 LLM 호출 없이 데이터 자체에서 복구하고 이를 기반으로 훈련하는 방법을 제안합니다. 이들은 텍스트 토크나이저를 따라 행동 구간을 재사용성으로 평가하고 정규화된 행동을 재사용 가능한 경험 트리(X-Tree)로 병합합니다. 각 X-Tree 노드는 빈번하고 성공적인 기술이 하위 기술들로 어떻게 구성되는지를 포착하여 효율적인 일반화를 유도합니다.

이 X-Tree 구조는 오프라인 강화 학습(offline RL), 적응형 기술 보너스를 사용하는 온라인 RLVR, 그리고 자기 지도 학습(self-distillation)에서 자기 교사(self-teacher)의 특권적 컨텍스트로 통합됩니다. WebArena, ScienceWorld, WebShop 등 세 가지 환경에서 세 가지 모델 규모에 걸쳐 X-Tree를 적용한 결과, 표준 레시피 대비 최대 4.5%의 WebArena SR, 5.8%의 ScienceWorld SR, 그리고 4.1%의 WebShop 성공률 향상을 보였습니다. 이러한 성능 향상은 X-Tree 구조와 세 가지 통합 방식에서 비롯된 것으로 분석되었습니다.

오디오 언어 모델은 음성 명령을 인식하고 도구를 호출할 수 있지만, 에이전트는 행동을 취할지 여부를 음향 및 대화 맥락을 통해 결정해야 합니다. 이를 위해 연구진은 사이드톡, 셀프톡, 스피커 스위치 시나리오 전반에 걸친 행동 수준 지향성(action-level addressedness)을 측정하는 1,018개의 항목으로 구성된 진단 벤치마크인 VGBench를 소개합니다.

VGBench는 침묵, 도구 호출, 자연어 답변을 포함하는 공유 행동 공간을 사용하며, 스피커 스위치 쌍에서 소스, 거리 렌더링, 시간 경계 등을 통해 통제된 착용자-방관자 전환을 정의합니다. 초기 실험 결과, 여섯 개의 원시 오디오 언어 모델과 세 가지 훈련 없는 적응 모델은 스위치 상황에서 목표 도구를 식별하지만 행동을 억제하는 경우는 드물었으며, 최대 원시 스위치 음소거율은 14%에 불과했습니다.

이후 VoxGate를 후처리 사례 연구로 사용했을 때, 지도 학습 훈련은 스위치된 명령의 91.3%를 음소거하면서 주변 착용자의 명령과 텍스트 전용 제어를 올바르게 선택했습니다. 탐색적인 GRPO 단계에서도 유사한 스위치 성능이 나타났으며, 사이드톡 정확도는 68.4%에서 70.9%로, 셀프톡 음소거율은 52.0%에서 60.0%로 상승했습니다.

이러한 벤치마크는 단순히 화자 정체성에 초점을 맞추는 것이 아니라 다중 단서 기반의 음향-맥락 게이팅을 측정한다는 점에서 의미가 있습니다. 이는 오디오 에이전트가 환경적 맥락을 고려하여 행동을 결정하는 능력을 평가하는 데 기여합니다.

LLM 에이전트가 다중 턴 상호작용을 수행할 때 사용자 의도가 변경되어 실행되기 전에 발생하는 현상인 의도 표류(intent drift)를 연구했습니다. 이는 사용자의 의도 중 일부가 무효화되었음에도 불구하고 최종 답변이나 도구 실행에 영향을 미치는 실패 모드입니다.

연구진은 이러한 의도 표류를 측정하기 위해 IntentFlux라는 실행 가능한 벤치마크를 도입했습니다. 이 벤치마크는 원래의 채점 기준을 보존하면서 의도 변화를 제어하는 대화로 검증 가능한 작업을 변환합니다. 627개의 사례 보정에서 대화에 더 많은 무효화되거나 철회된 정보가 포함될수록 평균 작업 점수는 0.476에서 0.384로 하락했습니다.

또한, 생성 전에 활성 요구 사항을 명시적으로 유지하는 StateForge를 추가로 제시했습니다. General-Test에서 StateForge는 평균 작업 점수를 0.367에서 0.467로 향상시켰습니다. 최종 상태를 제공하는 것이 성능을 더욱 개선하지만 단일 턴 성능을 회복하지 못한다는 점은 상태 추정 오류가 성능 격차의 일부만을 설명한다는 것을 시사합니다.

이러한 결과는 의도 표류가 측정 가능한 다중 턴 실패 모드이며, 명시적인 상태 유지가 부분적인 완화책이 될 수 있음을 입증합니다.

보상 모델은 대규모 언어 모델(LLM)의 응답을 평가하고 LLM 훈련을 인간 선호도에 맞추는 역할을 하지만, 응답의 정확성보다는 길이(length)나 신뢰도(confidence)와 같은 피상적인 속성을 선호하는 경향이 있습니다. 이러한 편향은 LLM이 더 높은 점수를 얻지만 실제로는 더 정확하지 않은 응답을 생성하게 만듭니다.

기존의 편향 완화 방법들은 보상 모델을 재훈련하거나 특정 편향에 대한 고정된 보정을 적용하는 방식인데, 이는 추가적인 데이터와 컴퓨팅 자원을 요구하거나 특정 편향을 미리 지정해야 하는 한계가 있습니다. 이에 따라 본 연구는 선형 보상 헤드(linear reward head)만을 편집하는 경량 프레임워크인 BiasReducer를 제안합니다.

BiasReducer는 희소 오토인코더(SAE) 스타일 인코더를 사용하여 보상 모델이 민감하게 반응하는 속성(예: 길이, 신뢰도)을 학습하고, 각 속성에 대한 의존도를 줄이는 방법을 학습합니다. 새로운 데이터셋에 대해서는 속성의 영향력을 기준으로 관련 속성을 선택하고 보상 모델을 편집하여 편향을 줄입니다.

이 방법은 보상 모델의 편향에 대한 견고성을 일관되게 개선하며, 다섯 가지 보상 모델에서 BiasReducer-M은 세 가지 벤치마크에서 평균적으로 8.3%, 18.0%, 6.9%의 개선을 달성하여 훈련 기반 기준선보다 우수한 성능을 보였습니다. 이러한 개선은 다운스트림으로 전달되어 불필요한 장황함과 아첨을 줄이면서도 평가된 품질은 유지됩니다.

소프트웨어 개발은 단순히 코드를 편집하는 것을 넘어 소프트웨어를 반복적으로 실행하고 인터페이스와 상호작용하며 시각적으로 동작을 검사하는 과정을 포함합니다. 기존의 코딩 에이전트나 컴퓨터 사용 에이전트는 이러한 통합된 개발 프로세스를 충분히 탐구하지 못하고 있습니다. 특히 런타임 상호작용 실패를 진단하려면 에이전트가 시각적 관찰 결과를 책임 있는 코드와 연결하고 애플리케이션을 다시 사용하여 수리를 검증해야 합니다.

이에 연구진은 소프트웨어 공학에 컴퓨터 사용을 통합한 벤치마크, 환경, 평가 파이프라인인 CUA-SWE를 소개합니다. 이 연구는 에이전트가 실행 중인 애플리케이션의 시각적 인터페이스를 통해서만 요구되는 사양이나 운영 정보를 얻을 수 있을 때 소프트웨어 공학 작업을 완료할 수 있는지에 초점을 맞춥니다. CUA-SWE는 네 가지 소프트웨어 공학 도메일을 포괄하며, 에이전트가 코드와 구성을 수정하고 명령을 실행하며 실행 중인 소프트웨어와 상호작용하고 시각적 피드백을 검사하도록 요구합니다.

평가 과정에서는 최첨단 에이전트가 소스 수준 실행과 애플리케이션 스크린샷 및 그래픽 상호작용을 어떻게 결합하여 검증된 소프트웨어 변경을 생성하는지 분석합니다. 연구는 도메인과 작업 정보 요구 사항에 따른 성능을 검토하고 성공적인 수리와 관련된 개발 행동을 함께 조사합니다.

CUA-SWE는 에이전트가 시각적 피드백과 상호작용을 활용하여 소프트웨어 공학을 안내하는 방식을 연구하는 통합 테스트베드를 제공하며, 결과 소프트웨어에 대한 실행 가능한 정확성 기준을 제시합니다. 이는 에이전트가 시각적 피드백을 활용하여 소프트웨어 엔지니어링을 수행하는 방식을 이해하는 데 중요한 기반을 제공합니다.

언어 모델이 정리 증명을 수행할 수 있게 되었지만, 여전히 인간이 어떤 문제를 추구할지 결정해야 하는 과제가 남아 있습니다. 연구진은 모델의 내부 표현이 유망한 수학적 연결을 식별하는 데 도움이 될 수 있는지 탐구하며, 이를 위해 LANTERN이라는 빠르고 비용 효율적인 파이프라인을 개발했습니다.

LANTERN은 사전 학습된 모델 활성화 값에 대한 분류기를 사용하여 후보 관계를 순위화하고, 이후 단계적인 필터링, 가설 생성, 실행 가능한 검증, 분석적 확인 과정을 거치는 방식으로 작동합니다. 이 방법론을 정수 수열의 온라인 백과사전(OEIS)에 적용한 결과, 10,000개의 자주 참조되는 수열 쌍 중 5천만 쌍을 순위화하여 기존 OEIS 교차 참조가 없는 62개의 검증된 관계를 도출했습니다.

분석 결과, 제시할 가치가 있는 관계 13개가 걸러졌으며, 이 중 아홉 개는 유익하거나 통찰력이 있는 내용으로, 특히 알려진 모든 문헌이나 OEIS에 없는 완전히 새로운 네 가지 관계를 포함하고 있습니다. 이 전체 종단 간 과정은 분류기 훈련, 후보 순위 지정, 필터링 및 검증을 포함하여 8시간 이내에 완료되었습니다.

강화 학습을 통해 얻은 정책 개선을 작은 모델에서 큰 학생 모델로 전이하는 Direct On-Policy Distillation(Direct-OPD) 기법에 대한 새로운 접근 방식이 제안되었습니다. 이 방법은 RL 이전과 이후 체크포인트 간의 토큰 수준 로그 비율을 학생 모델의 롤아웃에 대한 밀집된 감독 신호로 사용하여 정책 변화를 모든 상태에서 보상합니다.

하지만 로그 비율은 상대적인 변화만을 측정하기 때문에, 두 체크포인트가 학생 후보 토큰에 할당하는 확률 질량이 사라지더라도 로그 비율은 고정될 수 있다는 한계가 있습니다. 연구진은 이 분석을 통해 젠센-섀넌 발산(JSD)과 두 체크포인트 간의 KL 방향이 이 질량과 함께 사라지며, 작은 JSD가 교사의 행동 변화 정도를 제한한다는 점을 발견했습니다.

이를 바탕으로 Direct-OPD에 선택적 감독(Selective Supervision for Direct-OPD, S^2D-OPD)을 제안했는데, 이는 교사 참조 JSD를 기준으로 학생 샘플 상태를 순위화하고 낮은 발산 상태에서의 Direct-OPD 감독을 마스킹하여 응답당 상위 10% 상태만 유지합니다. 이 방법은 두 교사 쌍과 1.7B에서 8B 파라미터에 이르는 네 가지 학생 모델에서 테스트되었습니다.

S^2D-OPD는 추가적인 순방향 패스 없이 AIME 및 HMMT 벤치마크에서 Dense Direct-OPD보다 홀드아웃 정확도를 개선했으며, 여덟 가지 설정 중 일곱 가지에서 이를 개선하고 여덟 번째 설정에서는 동일한 성능을 달성했습니다.

브라우저 사용 에이전트는 웹사이트 간 이동 시 컨텍스트 정보를 보유하며, 이는 작업 완료에 필요할 수 있지만 사용자에게 사적인 사실을 포함할 경우 심각한 개인 정보 위험을 초래합니다. 예를 들어, 에이전트가 회원 기록을 읽어 사용자 소속을 알게 된 후 다른 웹사이트에서 특정 소속에 맞는 등록 옵션을 선택할 때 정보를 유출할 수 있습니다. 이 연구는 이러한 브라우저 사용 에이전트에서 발생하는 행동 기반 측면 채널 누출을 정의하고 연구합니다.

연구진은 이러한 현상을 측정하기 위해 AgentTell이라는 벤치마크를 도입했는데, 이는 에이전트가 한 웹사이트에서 비밀 정보를 획득한 후 다른 웹사이트에서 해당 정보에 특화된 행동과 일반적인 행동을 제공하는 20가지 시나리오와 100가지 작업을 포함합니다. 6가지 백본에서 9,760회의 세션에 걸친 평가 결과, 에이전트는 비밀 정보를 자신의 행동을 통해 61.1%의 세션에서 노출하는 것으로 나타났습니다.

더욱이, 에이전트가 메모리상에서 비밀을 공유하지 말라는 명시적인 지시를 내렸음에도 불구하고 56.7%의 세션에서 정보를 노출했습니다. 심지어 누출이 발생한 세션 중 34.5%에서는 에이전트가 사용자에게 비밀이 공개되지 않았다고 잘못 보장하는 최종 응답을 제공했습니다. 이러한 결과는 에이전트가 측면 채널 누출을 개인 정보 위험으로 인식하는 데 종종 실패한다는 것을 보여줍니다.

강화 학습(RL)은 대규모 언어 모델(LLM)에 상당한 추론 능력을 부여할 수 있지만, 이러한 능력이 모델 규모에 걸쳐 얼마나, 그리고 얼마나 빠르게 전이되는지는 여전히 불분명합니다. 본 연구는 온-정책 증류(OPD)의 스케일링 속성을 약한-강한(weak-to-strong), 동일 기반(same-base), 강한-약한(strong-to-weak) 교사-학생 설정에 걸쳐 탐구했습니다.

연구 결과, 초기 OPD 훈련 역학은 규칙적인 유용한 전이(useful-transfer) 영역을 보이며, 이는 홀드아웃 정확도(골드 점수, G)가 학생 초기화로부터의 토큰 수준 역 KL 발산($d=\mathrm{KL}(\pi_\theta || \pi_{ref})$)에 비례하여 선형적으로 증가함을 보여줍니다. 특히 약한 교사-강한 학생 쌍에서 학생의 최대 골드 점수는 교사 자신의 점수를 초과하므로, 비교적 간결한 RL 전문가가 OPD를 통해 훨씬 더 큰 학생에게 능력을 전이시킬 수 있습니다.

OPD 결과를 추정하기 위해 골드 점수($G_{peak}$)와 유용한 전이 영역의 기울기가 학생 및 교사 파라미터 수와 교사 골드 점수에 따라 어떻게 스케일하는지에 대한 거듭제곱 법칙(power laws)을 도출했습니다. 이 법칙들은 최대 골드 점수가 학생 규모만큼만 교사 규모까지 향상되며, 골드 점수가 일치할 때 더 작은 교사가 더 나은 전이를 한다는 것을 보여줍니다. 따라서 교사의 점수만으로는 그 감독 가치를 완전히 정의할 수 없습니다.

또한 연구는 부트스트래핑 약한-강한 OPD 및 온-정책 감독의 정도와 같은 두 가지 OPD 변형의 스케일링 효과도 조사했습니다. 이는 RL 기반 증류 방법론이 모델 규모에 따라 어떻게 작동하고 능력을 효과적으로 전이시키는지에 대한 중요한 통찰을 제공합니다.

기존의 장기 기억 연구는 주로 이인칭 텍스트나 이미지-텍스트 대화에 초점을 맞추고 있어 다자간 음성 대화에 대한 장기 기억 활용은 충분히 탐구되지 못했습니다. 이러한 다자간 환경에서는 대화 내용을 보존하고 세션 간 참가자를 식별하며 누가 누구에게 말했는지 유지하는 것이 필수적입니다. 이를 위해 본 논문은 점진적인 화자 식별과 상호작용 기억, 사실 기억, 참가자 프로필로 구성된 메모리 계층을 결합한 상호작용 인식 멀티모달 메모리 프레임워크인 VoxPolyMem을 제안합니다.

VoxPolyMem은 검색을 순차적 의사결정으로 공식화하여 에이전트가 축적된 증거를 바탕으로 질문을 재작성하고 검색 도구와 메모리 레이어를 선택하여 정보 격차를 해소하도록 설계되었습니다. 또한, 증거 획득을 촉진하기 위해 라운드별 신용 할당을 사용하는 Evidence-Gain GRPO(EG-GRPO)를 도입했습니다. 이 연구는 다자간 음성 대화에서 메모리 진화, 개인화된 답변, 검색 및 추론, 상호작용 추론 및 귀속을 평가하기 위해 VoxPolyBench를 구축했습니다.

VoxPolyBench 평가 결과, VoxPolyMem은 전체 점수 85.0점을 달성하며 가장 강력한 기준선보다 23.6점 높은 점수를 기록했습니다. Mem-Gallery와 H2HMem-Multi에서는 각각 89.6점과 74.4점을 얻어 가장 강력한 공개 메모리 기준선보다 8점 이상 높은 점수를 기록했습니다. 이러한 결과는 다자간 멀티모달 상호작용에서 지속적이고 개인화된 지원을 제공할 수 있는 VoxPolyMem의 잠재력을 강조합니다.

음성 대화 시스템은 이전 상호작용으로부터 정보를 회복하는 기억 능력이 필요하지만, 관련 정보는 단순히 말한 내용에 국한되지 않고 발화자, 말하는 방식, 청취 가능한 내용 등 오직 음성 신호에만 존재하는 음향 증거를 포함합니다. 그러나 기존의 벤치마크들은 주로 어휘 내용에 초점을 맞추고 제한적인 메모리 연산을 사용하며 기억을 단일 세션 문제로 취급하여 이러한 다차원적인 기억 평가를 충분히 다루지 못하고 있습니다.

본 연구는 기억 평가를 위해서는 보존되는 음향 증거와 적용되는 연산을 공동으로 특성화해야 한다고 주장하며, 이를 바탕으로 다중 세션 기록에 기반하고 8K에서 64K 토큰까지 맥락 예산에 따라 계층화된 분류 체계를 제안합니다. 이를 위해 15개의 LALM을 평가하고 34,743개의 음성 세션(177시간)에서 네 가지 음향 증거 유형(발화 의미, 화자 정체성, 비언어적 단서, 환경 소리)과 네 가지 메모리 연산(정보 추출, 다중 세션 추론, 시간 추적, 답변 거부)을 결합하여 VoxMem을 제시합니다.

VoxMem은 다중 세션 기록을 기반으로 하며, 모델이 말한 내용뿐만 아니라 누가, 어떻게, 무엇이 들렸는지에 대한 정보를 훨씬 더 잘 보존함을 입증합니다. 특히 복잡한 연산과 긴 기록의 경우 이러한 정보 보존의 격차가 증대되며, 이는 증거 유형에 따라 질적으로 구별되는 실패 양상으로 나타납니다. 이 연구는 음성 대화 기억의 전체 범위를 측정하고 발전 방향을 제시하기 위한 기반을 제공하는 것을 목표로 합니다.

새로운 양자화 프레임워크인 PrismQuant는 그룹화된 INT4 양자화에서 최적의 널 공간 회전을 제공하여 양자화 성능을 향상시킵니다. 이 방법은 단순히 활성화 아웃라이어의 크기에만 의존하지 않고, 해당 아웃라이어가 양자화기의 상수 그룹 부분 공간과 정렬되도록 조정함으로써 저비트 양자화의 품질을 높입니다.

PrismQuant는 활성화 고유 공간을 비대칭 그룹화된 INT4의 상수 그룹 부분 공간과 정렬하는 양자화 인식 회전 프레임워크입니다. 이 과정에서 아핀 오프셋은 그룹 내 범위 확장을 유발하지 않으면서 해당 부분 공간 내의 에너지를 나타냅니다. 연구진은 회전 설계를 Ky Fan trace 최대화 문제로 공식화하여 이 정렬 목표에 대해 수학적으로 입증된 최적 해를 도출했습니다.

이 프레임워크는 컴팩트 하우스홀더 변환과 컴팩트-WY 표현을 사용하여 경사도 없는 구성과 효율적인 적용을 가능하게 합니다. Llama, Qwen, Mistral과 같은 다양한 모델과 30B 혼합 전문가 모델에 대한 실험 결과, PrismQuant는 W4A4KV4 조건에서 Llama-3.2-3B 모델에서 기존 방법들보다 더 나은 퍼플렉시티와 정확도를 달성하며 최고 수준을 보였습니다.

특히 Llama-3.1-70B 모델에서는 전체 정밀도보다 0.22 퍼센트 포인트 낮은 3.85 퍼플렉시티와 72.46%의 평균 제로샷 정확도를 달성했습니다. 또한 Llama-3.1-8B 모델의 배포 연구에서는 FP16 기준선 대비 1.51배의 프리필 및 1.22배의 CUDA 그래프 디코딩 속도 향상을 달성했으며, 디코딩 피크 메모리는 56.34% 감소했습니다. 코드는 GitHub에서 공개되어 있습니다.

밀집 검색(Dense Retrieval)은 검색 증강 생성(RAG), 의미 검색, 질의응답 등에 사용되지만, 공유 투영(shared)과 이중 투영(dual) 중 어떤 것을 선택할지에 대한 이론적 근거가 불분명합니다. 본 연구는 저차원 쌍선형 점수(low-rank bilinear scoring)에 대한 편향-분산 이론을 제시하며, 공유 투영은 양의 준정부호 연산자(positive-semidefinite operators)를 유도하는 반면, 이중 투영은 임의의 저차원 연산자를 실현함을 밝힙니다.

연구진은 이들의 근사 오차 격차를 도출하고 국소 가우시안 경계를 증명했는데, 이 경계는 제곱된 방향 신호가 추가 자유도의 추정 비용을 초과할 때 이중 투영이 더 낮은 위험을 갖는다는 것을 의미합니다. 이러한 이론을 바탕으로 훈련 쌍에서 재현 가능한 방향 신호를 추정하는 교차 적합 비대칭 위험 선택기(Cross-fitted Asymmetry Risk Selector, CARS)를 제안했습니다. CARS는 정확한 선택 능력과 후회 공식(regret formulas)을 제공합니다.

실험 결과, 이 이론을 따라 여러 데이터셋과 임베딩 모델에 걸쳐 검색 실험을 수행한 결과, 쿼리 회전 각도가 0도에서 90도로 증가함에 따라 이중 투영이 공유 투영보다 평균 NDCG@10 이점을 두 배 이상 증가하는 것으로 나타났습니다. 또한, 랭크-샘플 크기 격자에서 공유 투영은 n=32일 때 16개 셀 중 13개를 승리했지만, n=1024와 n=2048에서는 이중 투영이 32개 셀 모두를 승리했습니다.

CARS를 적용한 결과, 고정 기하학적 기준선과 비교했을 때 홀드아웃 후회(held-out regret)를 49~96% 감소시키고 평균 기하학 선택 정확도 90.1%를 달성했습니다. 이는 모델이 데이터 크기가 증가함에 따라 이중 투영 쪽으로 전환되어야 한다는 이론적 예측을 실증적으로 뒷받침합니다.

최근 최첨단 모델의 발전과 함께 대규모 강화 학습(RL)에 대한 관심이 높아졌으나, 대규모 모델의 롤아웃을 생성하는 비용 때문에 RL 레시피를 테스트하는 것조차 비용이 많이 듭니다. 연구진은 작은 약한 모델이 학습한 추론 개선이 강한 모델에 이점을 줄 수 있는지, 강한 모델의 롤아웃을 사용하지 않고도 이를 달성할 수 있는지에 대해 질문합니다.

이러한 문제를 해결하기 위해 연구진은 교차 추론(alternating chains of thought)을 통한 약한 모델에서 강한 모델로의 전이(weak-to-strong transfer)를 위한 훈련 및 추론 프레임워크인 Allspark를 소개합니다. Allspark는 약한 교사(teacher)를 동일 모델의 고정된 복사본과 함께 훈련시키고, 두 개의 교차 추론 세그먼트와 고정된 모델을 통해 최종 답변을 도출하는 방식으로 작동합니다. 추론 시점에는 더 강한 학생(student)이 고정된 훈련 파트너를 대체하며 두 모델은 고정된 상태를 유지합니다.

이 프레임워크는 텍스트를 통해 소통함으로써 교사가 서로 다른 모델 계열과 토크나이저를 가진 학생들을 지도할 수 있게 합니다. 연구진은 이 Allspark를 수학 및 추론에 대한 제어된 Qwen 실험과 ARC-AGI-2에 대한 대규모 Inkling 실험 두 가지 규모로 연구했습니다. Inkling 실험 결과는 Kimi 및 Nemotron으로의 전이를 포함하여 가족 내 및 교차 가족 설정에서 정확도 향상을 보여주었으며, 이는 추론 설정에 따라 이점의 차이가 있음을 나타냅니다.

이러한 발견은 훈련된 약한 교사를 강한 학생들에게 재사용하고 그 결과로 나타나는 정확도 대 토큰의 상충 관계를 검토하는 것을 촉진합니다. 이는 효율적인 방법으로 모델의 추론 능력을 향상시키는 데 기여할 수 있습니다.