읽을 가치가 있는 기사만, 짧고 또렷하게.

언어 모델이 개인 식별자인 이름에 대해 어떻게 처리하는지에 대한 연구를 통해, 동일한 이름이 반드시 동일한 모델 입력으로 간주된다는 가정은 실패할 수 있음을 보여줍니다. 일부 이름은 단일 토큰 접근을 받는 반면, 다른 이름들은 여러 서브워드로 구성되어 불균등한 이름 표면 지원(unequal name-surface support)을 발생시킵니다. 이는 인종 및 성별과 관련된 이름 메타데이터에 따라 직접적인 어휘적 접근이 모델에 따라 선택적이고 불균등하게 이루어짐을 의미합니다.

연구진은 이러한 불균등한 이름 표면 지원이 어휘 속성으로 남아 있는지, 아니면 과제 관련 내부 표현에서 가시적으로 나타나는지를 측정하기 위해 NameTrace라는 모델 내재적, 세밀한 사전 행동적 프레임워크를 제안합니다. NameTrace는 모델의 확률을 측정하여 과제별 속성 축에 대한 개념 접근성을 측정합니다.

동일한 인종/민족-성별 집단 내의 일치하는 원자적 이름이나 짧은 조각 이름에서 이러한 지원은 펠로우십, 채용, 임상 평가, 대출과 같은 다양한 영역에서 개념 접근성의 체계적인 차이를 예측합니다. 이러한 차이는 모델 패밀리를 넘어 확장되며 보지 못한 이름에도 전이됩니다.

추가적으로 은닉 상태 개입(hidden-state interventions) 분석은 측정된 과제 방향이 후속 제약 선택에 하위 레벨의 영향력을 미친다는 것을 보여줍니다. 따라서 어휘적 지원의 불균등함은 입력 단계에서 인구통계학적으로 구조화되며 과제 관련 모델 계산에서 여전히 가시적으로 남아 있습니다. NameTrace는 어휘적 비교 가능성을 측정하여 행동적 비교 가능성이 어휘적 비교 가능성에서 시작된다는 더 넓은 원칙을 뒷받침합니다.

영상-언어(VL) 사전 학습을 이용한 흉부 X-레이(CXR) 분석은 의료 영상 이해에 큰 잠재력을 보여왔습니다. 그러나 기존 방법들은 방사선 보고서가 길고 임상적으로 밀도가 높으며 단순한 제로샷 프롬프트와 정렬하기 어렵다는 문제로 인해 종종 특정 작업에 대한 파인튜닝에 의존해야 했습니다. 최근 문장 수준 접근 방식이 대규모 언어 모델(LLM)에서 추출한 임상 구문을 사용하여 이러한 한계를 부분적으로 해결했지만, 방사선 담론의 본질적인 특성을 간과하는 한계가 있었습니다.

특히, 긍정 쌍 다양성의 제한은 추가적인 성능 향상을 제약하며, 임상적으로 동등한 문장들이 환자들 사이에서 자주 반복되어 대조 학습에서 거짓 음성(false negatives)을 발생시키는 문제가 있었습니다. 이러한 문제들을 해결하기 위해 본 연구는 제로샷 다중 작업 CXR 분석을 위한 향상된 문장 중심 VL 사전 학습 프레임워크인 SentZero를 제안합니다. SentZero는 LLM 기반의 추상 수준 문장 구조화 및 매핑을 통해 긍정 쌍 다양성을 확장하고, 거짓 음성을 완화하기 위한 추가 손실 항을 도입합니다.

또한, SentZero는 시각 임베딩에 대한 문장 조건부 잔차 변조를 도입하여 시각적 특징이 각 입력 문장의 의미적 특성에 적응할 수 있도록 합니다. 이러한 접근 방식은 다양한 다운스트림 작업과 데이터셋에서 제로샷 일반화 능력을 향상시키고 기존의 다중 작업 제로샷 방법들을 능가하는 성능을 입증했습니다.

비전-언어 모델(VLM)은 이미지를 긴 시퀀스의 시각 토큰으로 처리하기 때문에 추론 과정이 비용이 많이 듭니다. 따라서 학습 없이 토큰 가지치기(token pruning)를 통해 비용을 줄일 수 있지만, 과도한 압축은 작업 관련 시각 정보를 돌이킬 수 없이 손실시켜 성능을 크게 저하시킬 수 있습니다. 연구진은 이러한 현상이 불완전한 설명에 기인한다고 지적하며, 유용한 시각 증거가 여전히 접근 가능하지만 신뢰할 수 없게 사용될 수 있다는 '표현-활용 격차(representation-utilization gap)'를 제시합니다.

이러한 관찰을 바탕으로 연구진은 희소 컨텍스트 온-폴리 정책 자기 증류(sparse-context on-policy self-distillation) 프레임워크인 SCOPD를 도입했습니다. SCOPD는 학생 모델이 가지치기된 시각 토큰으로부터 추론 경로를 생성하는 동시에, 전체 컨텍스트를 가진 교사 모델이 동일한 온-폴리 접두사를 감독하도록 설계되었습니다. 이 방법은 정답 응답이나 추가 추론 계산 없이 효율적인 학습을 가능하게 합니다.

나아가 SCOPD+를 추가하여 시각적으로 민감한 응답 위치를 식별하고 이를 선택적으로 증류하는 방법을 제안했습니다. 10%의 시각 토큰 보존율에서 일반 모델이 13개 벤치마크에서 86.37%의 성능을 유지하는 반면, SCOPD는 이를 90.49%로, SCOPD+는 92.43%로 성능을 향상시켰습니다. 이는 효율적인 추론이 어떤 시각 정보가 가지치기를 통과하는지에만 달려 있는 것이 아니라, 모델이 해당 정보를 얼마나 신뢰성 있게 활용하는지에 달려 있음을 보여줍니다.

장거리 카메라 제어 비디오 생성은 점점 늘어나는 시각적 기록에서 이전에 관찰된 콘텐츠를 복구해야 하는 과제를 안고 있습니다. 기존 접근 방식들은 역사적 맥락을 암묵적으로 검색하거나 지속적인 3D 메모리로 재구성하는 방식을 사용하는데, 이는 비효율적인 메모리 접근이나 누적된 기하학적 오류라는 문제를 겪습니다. 이 연구는 기하학이 장면을 설명할 필요가 없으며, 단지 시각적 메모리를 어디서 읽어야 하는지를 결정하는 데 사용되어야 한다는 핵심 통찰을 제시합니다.

이를 바탕으로 연구진은 기하학 기반 주의 라우팅 프레임워크인 GEAR를 제안했습니다. GEAR는 기하학을 시각적 메모리의 명시적인 토큰 수준 주소로 사용하여 시각적 메모리를 관리합니다. GEAR는 과거 관찰 내용을 지속적인 전역 3D 표현으로 융합하는 대신 프레임 잠재값으로 유지하며, 프레임별 기하학만을 사용하여 목표 시점에 대한 토큰 수준 대응 관계를 설정함으로써 전역 융합에서 발생하는 오류 누적을 방지합니다.

이러한 대응 관계를 바탕으로 기하학적 대응 주의(GCA)는 노이즈가 있는 목표 패치에 기하학적으로 일치하는 과거 특징을 선택적으로 주입하여 디노이징을 수행합니다. 또한, 가시성 증거를 축적하고 기하학적으로 그럴듯하지만 가려진 대응 관계를 거부하기 위해 보이지 않는 옥트리(Invisible Octree)를 도입했습니다. 광범위한 실험 결과, GEAR는 최첨단 시각 품질, 정밀한 카메라 제어, 재방문 일관성을 달성하여 까다로운 궤적을 따라 분 단위의 비디오 생성을 가능하게 했습니다.

지식 증류 공격은 폐쇄형 대규모 언어 모델의 추론 능력을 복사하여 악의적인 행위자가 낮은 비용으로 최고 수준의 성능을 재현할 수 있게 합니다. 공격자는 최첨단 모델의 추론 흔적을 체계적으로 수집한 다음 이를 기반으로 자신들의 모델을 훈련시킵니다.

기존의 지식 증류 공격 방어책은 증류 직후에 평가되므로 공격자가 추가적인 훈련을 하지 않는다는 가정하에 설계되어 있습니다. 그러나 본 연구는 증류 이후 강화 학습(Reinforcement Learning)을 통한 추가 훈련을 포함하는 보다 현실적인 위협 모델이 필요하다고 주장합니다. 잘못 설정된 위협 모델은 보안에 대한 잘못된 인식을 줄 수 있으며, 증류 후 효과적인 것으로 보이는 일부 방어책도 후속 강화 학습을 통해 무력화될 수 있습니다.

실제로 강화 학습은 증류 공격이 효과를 발휘하기 위한 기준을 낮춥니다. 간단한 공격만으로도 현재 API를 통해 쉽게 얻을 수 있는 데이터를 사용하여 기존 폐쇄형 언어 모델로부터 추론 능력을 훔칠 수 있으며, 이는 전체 숨겨진 흔적을 추출하는 더 정교한 공격과 동등한 추론 개선을 가져옵니다.

연구 결과에 따르면, 근사 추론 흔적을 재구성하는 데 충분한 정보를 유출하는 모든 증류 방어책은 효과가 없을 가능성이 높습니다. 따라서 연구는 더 광범위한 함의와 배치 수준의 증류 방어책에 대해 논의하며 실질적인 방어 전략을 제시합니다.

VLM(Vision-Language Model)이 시각적 질문에 답할 때 현재의 해석 가능 도구들은 모달리티가 불일치하는 텍스트 추론이나 모델에 대한 전체 접근 권한을 요구하는 내부 읽기값에 의존합니다. 이에 연구진은 출력 헤드로부터 구축된 학습 불필요, 작업 불가지론적, 블랙박스 시각 추론인 AnswerMap을 제안합니다.

AnswerMap은 이미지를 K행 K열 밴드로 나누고 각 밴드를 고정된 모델에 대해 질문의 관련성 여부(yes/no) 형식으로 함께 제시하여, 행과 열의 'yes' 사후 확률의 외적을 통해 질문 조건화된 공간 맵을 얻습니다. 특히 AnswerMap 위에 고정된 읽기값 R(예: 기대값, 최대값)을 정의함으로써 위치와 같은 연속적인 출력을 본질적으로 도출할 수 있습니다. 이는 연속 출력 작업을 이산적인 텍스트 토큰에 의존하지 않고 보장하며, 이미지에 의존하는 답변을 구성합니다.

이러한 방법의 신뢰성을 검증하기 위해 네 가지 모델과 세 가지 쿼리 분포에 걸쳐 두 가지 테스트를 수행했습니다. 그 결과, 이 맵은 모델이 지목하는 위치에 정확히 위치하며(어텐션 모델 대비 AUC 0.85 대 0.38), 맵 영역을 삭제하면 정답의 53%가 뒤바뀝니다(어텐션 모델 대비 19%).

나아가 AnswerMap은 세 가지 뚜렷한 읽기값을 통해 작업 불가지론적 유용성을 입증합니다. 이는 생성 없이 환각된 객체를 표시하는 최대값, 모델의 지목이 실패했을 때 정확하게 위치를 파악하는 기대값, 그리고 모델의 잘못된 답변 절반을 수정하는 크롭 형태로 제공되는 최상위 질량 영역입니다. AnswerMap은 VLM 해석 가능성에 대한 새로운 관점을 제공하며, 텍스트 토큰을 넘어선 시각 작업에 대한 새로운 출력 인터페이스를 제시합니다.

대규모 언어 모델(LLM)의 파라미터 확장을 위해 조회 기반 메모리(Lookup-based memory)는 유망한 방법이지만, 기존 설계는 각 검색된 임베딩을 단일 단위로 취급한다는 한계가 있습니다. 예를 들어 Engram과 같은 기존 방식은 각 임베딩을 해시 슬롯에 저장하고 단일 스칼라 게이트로 조절하여, 다의적인 패턴이 문맥에 관련 있는 메모리 구성 요소를 선택적으로 읽어내지 못합니다. 또한 파라미터 공유가 해시 충돌을 통해서만 이루어져 의미론적 관계와는 무관합니다.

이에 본 연구는 기저 수준의 문맥 게이팅을 갖춘 인수분해된 N-그램 메모리인 FactorEngram을 제안합니다. FactorEngram은 패턴 전반에 걸쳐 공유되는 기저 벡터의 사전(dictionary) 위에서 희소성 정규화된 계수를 검색하여 관련 패턴들이 공통 구성 요소를 재사용할 수 있게 합니다. 이 사전은 게이팅에도 사용되며, 백본 은닉 상태를 각 기저 벡터에 대해 평가하여 각 메모리 구성 요소를 개별적으로 조절할 수 있게 합니다.

FactorEngram은 개별 토큰과 다중 토큰 N-그램을 모두 다루며 메모리 분기점을 어디에 삽입해야 하는지 체계적으로 연구했습니다. 340M 및 1B 파라미터 트랜스포머 백본에서 FactorEngram은 언어 모델링과 다운스트림 작업 성능을 향상시킵니다. 실험 결과는 각 구성 요소의 기여도를 확인하며, 중간 레이어의 어텐션 서브레이어 앞에 삽입하는 것이 효과적인 구성임을 보여줍니다.

최첨단 범용 시스템이 시각적 이해를 넘어 기존에 전용 컴퓨터 비전 모델이 담당하던 능력으로 빠르게 확장되고 있습니다. 이러한 능력 확장에 따라 컴퓨터 비전 커뮤니티는 이러한 범위가 어디까지 미치는지, 그리고 무엇이 여전히 어려운지에 대한 근본적인 질문을 던지고 있습니다. 연구진은 GPT-6 Astra를 포함한 다섯 가지 최전선 범용 AI 시스템을 34가지 능력과 55가지 벤치마크에 걸쳐 아홉 가지 컴퓨터 비전 영역에서 평가했습니다.

Astra는 시각 및 공간 추론과 여러 형태의 구조화된 예측에서 다른 최전선 시스템보다 상당한 성능 향상을 보이며 광범위한 시각 능력을 입증했습니다. 최첨단 시스템 전반에서 일관된 패턴이 나타났는데, 의미 해석, 추론, 객체 중심 예측과 관련된 능력들은 사용 가능한 기준 수준에 점점 더 근접하거나 도달하고 있습니다.

반면, 작업이 기하학적 정확도, 충실한 재구성, 시간적으로 일관된 밀집 예측, 또는 전문화된 세밀한 시각 지식을 요구할 때는 여전히 더 큰 격차가 남아 있습니다. 추가적인 추론 및 전문 도구들이 일부 격차를 해소하고 있지만, 그 이점은 능력에 따라 다릅니다.

이러한 결과는 점점 더 정교해지는 시각적 작업이 범용 인터페이스를 통해 접근 가능해지고 있지만, 정밀도와 충실도에 민감한 지각 능력은 여전히 중요한 개척 영역임을 보여줍니다.

도구 기반 이미지 편집(리터칭) 작업은 일반적으로 추론, 도구 선택, 매개변수 값을 순차적으로 생성하는 자기회귀 멀티모달 대규모 언어 모델(MLLM)을 사용하여 수행됩니다. 본 연구는 이러한 작업을 흐름 일치(flow matching) 문제로 재구성하여 새로운 접근 방식을 제시합니다.

연구진은 입력 이미지와 사용자 지시에 조건화된 고품질 도구 매개변수의 분포를 조건부 정류 흐름(conditional rectified flow)을 사용하여 직접 모델링하는 프레임워크인 FlowTool을 소개합니다. FlowTool은 멀티모달 이해를 위한 비전-언어 모델 백본과 가우시안 노이즈를 편집 계획으로 변환하는 확산 트랜스포머(Diffusion Transformer) 매개변수 생성기를 결합합니다.

FlowTool은 두 단계의 지도 흐름 일치 커리큘럼과 보상 기반 후처리 훈련을 통해 학습되었으며, MMArt-Bench, FlowTool-Eval, ArtEdit-Bench, MIT-Adobe5K 등 여러 벤치마크에서 전문 MLLM 편집 에이전트 및 독점 MLLM보다 훨씬 강력한 참조 기반 성능을 달성했습니다. 또한, FlowTool은 추론 과정 없이 구조화된 연속 편집 매개변수에 대한 조건부 생성으로 도구 기반 이미지 편집을 효과적으로 모델링할 수 있음을 입증합니다.

더 나아가 FlowTool은 추론 과정 없이 도구 기반 이미지 편집을 조건부 생성으로 모델링할 수 있음을 보여주며, 비교 대상 모델 대비 최소 50배의 지연 시간 감소와 거의 2배 적은 메모리 요구량으로 추론 효율성을 크게 개선했습니다.

거대 언어 모델(LLM)의 강화 학습(RL) 후처리 과정은 GPU 클러스터 전반에 걸쳐 여러 모델을 조정하는 복잡한 작업입니다. 실행 중 리소스 가용성, 시퀀스 길이, 메모리 압력, 단계 병목 현상 등 여러 요인이 실행 중에 변동하기 때문에, 처음에 적합했던 실행 계획이 시간이 지남에 따라 느려지거나 실행 불가능해질 수 있습니다. 따라서 GPU를 공유하는 모델의 작업을 조정할 때 새로운 계획으로 전환하는 비용, 분산된 상태 재사용, 모델 및 단계 간의 GPU 전송 조정과 같은 상당한 도전 과제가 발생합니다.

Nereus는 이러한 문제를 해결하기 위해 RL 후처리 작업을 효율적인 실행 계획으로 조정하는 비용 인식 런타임으로 설계되었습니다. Nereus는 낮은 오버헤드의 컨트롤러를 사용하여 실행 중인 작업에 맞춰 보정된 비용 모델을 통해 메모리 가능한 전역 계획을 선택하고 전환을 허용합니다. 분산된 상태를 Elastic Model Unit으로 표현하고 전역 전환 그래프를 사용하여 변환 및 GPU 전송을 순서화함으로써 전환을 추정하고 실행합니다.

실제 데이터로 구축된 추적을 통해 온라인 TP/PP 적응은 초기 고정된 TP/PP 레이아웃 대비 평균 단계 지연 시간을 27.7% 감소시킵니다. 1,000단계 실행에서 1,024개의 GPU에 도달했을 때, 여섯 번의 전환은 전체 실행 시간의 0.079%만을 소비합니다. 또한 Nereus는 다양한 클러스터에서 OpenRLHF 대비 2.14배에서 7.27배, Verl 대비 1.10배에서 1.47배의 성능 향상을 제공하며 8B PPO의 종단 간 처리량을 개선합니다.

최신 멀티모달 대규모 언어 모델(MLLM) 연구 결과에 따르면, 사전 학습된 시각 인코더를 사용하는 방식과 인코더가 없는 방식의 스케일링 법칙을 비교 분석했습니다. 이 연구는 시각적 사전 지식의 이점이 모델 규모에 따라 어떻게 변화하는지를 밝히며, 인코더 없는 아키텍처가 멀티모달 사전 학습에 있어 유망한 방향임을 시사합니다.

연구 결과에 따르면, 시각 인코더를 제거하면 멀티모달 목표에 대한 컴퓨팅 최적 할당이 더 큰 모델로 이동하지만 텍스트에 대한 할당은 거의 변하지 않습니다. 또한 두 아키텍처는 텍스트 목표에서는 손실 대 컴퓨팅 경계가 거의 겹치지만, 멀티모달 목표에서는 차이를 보입니다. 인코더 없는 모델은 작은 규모에서는 성능이 뒤처지지만, 약 $10^{22}$ FLOPs 수준에서 따라잡을 것으로 예측되며 이는 실제 사전 학습 예산 내에 있습니다.

시각 인코더가 없을 경우, 언어 모델은 시각 특화 적응을 통해 역할을 수행하게 됩니다. 훈련 컴퓨팅이 증가함에 따라 시각 토큰 간의 양방향 상호작용이 점점 더 유익해지고, 시각 처리는 더 이른 레이어로 이동하며, 시각 토큰에 대한 전문가 라우팅이 더욱 집중됩니다. 이는 모델이 시각적 정보를 인코더를 통해 제공받는 대신 자체적으로 학습하여 처리하는 메커니즘을 보여줍니다.

결론적으로, 사전 학습된 인코더가 제공하는 시각적 사전 지식의 이점은 모델 규모에 따라 감소하며, 이는 인코더 없는 아키텍처가 멀티모달 사전 학습을 위한 유망한 방향임을 의미합니다. 개발자들은 모델 스케일링 시 인코더 없는 접근 방식이 효율적일 수 있다는 점을 고려해야 합니다.

멀티벡터 검색을 기반으로 하는 비전-언어 모델을 활용한 시각 문서 검색(VDR)은 검색 시마다 수십억 개의 매개변수를 가진 쿼리 인코더를 실행해야 하는 병목 현상이 발생합니다. 이러한 병목을 해소하기 위해 인코더를 작은 학생 모델로 증류하여 기존 인덱스를 쿼리하도록 하는 것이 목표입니다. 하지만 표준 방식은 교사의 MaxSim 점수를 일치시키기 위해 모든 훈련 페이지를 인코딩하고 캐싱해야 하므로 테라바이트에 달하는 페이지 토큰을 요구합니다.

NanoVDR은 단일 벡터 검색에 한정하여 페이지 자체를 완전히 피하고 교사의 쿼리 임베딩만을 사용하여 훈련하지만, ColNanoVDR은 멀티벡터 VDR에 문서 없는 증류를 가능하게 한 최초의 프레임워크입니다. 이 프레임워크는 학습된 가중치를 사용하여 엔트로피 최적 수송(Optimal Transport with Learned Weights, OTW)을 통해 학생 쿼리 토큰을 교사의 토큰과 정렬하며, 두 토큰화 간의 상응 관계가 필요하지 않습니다.

연구진은 이 방법이 모든 페이지에 대한 MaxSim 점수 차이를 제한함을 증명했습니다. 다섯 개의 최첨단 교사로부터 증류된 1억 490만 개의 텍스트 전용 학생 모델은 ViDoRe v1-v3에서 교사의 NDCG@5 성능의 약 95%를 유지하면서 쿼리 인코딩을 최대 26배 빠르게 수행했습니다. 또한 OTW는 페이지를 인코딩하지 않고도 점수 증류를 일치시키며 캐시된 교사 데이터 읽는 양을 12.6배 적게 사용했습니다.

언어 모델이 AI 개발에서 점점 더 중요한 역할을 하면서, 인간처럼 자신의 학습 과정을 성찰하고 이를 통해 스스로를 개선하고자 하는 자연스러운 열망이 생겼습니다. 현재 모델들은 훈련 과정에서 파라미터 수준의 흔적을 남기지만, 이 흔적을 명시적인 설명으로 해독하는 데는 한계가 있습니다. 이러한 문제를 해결하기 위해 연구진은 고정된 가중치 업데이트를 설명하는 모델인 임프린트 리더(Imprint Reader)를 소개합니다.

임프린트 리더는 의미론적 마운트 및 읽기 튜닝(Semantic Mount-and-Read Tuning, SaRT)으로 훈련되었으며, 각 업데이트를 마운트하고 앵커 프리 메타 쿼리를 사용하여 자연어 설명을 유도합니다. 이 모델은 지원되지 않는 주장을 방지하기 위해 변화가 없는(no-change) 및 무작위 교란(random-perturbation) 제어를 사용합니다. 홀드아웃 업데이트에 대한 결과, 이 결합된 리더는 지식에 대해 2%의 Pass@100, 행동에 대해 16%의 점수를 달성하여 자연어 읽기의 실현 가능성을 입증했습니다.

나아가 리더는 특정 목표 행동과 후보 가중치 업데이트 사이의 격차를 나타내는 미분 가능한 대리(differentiable proxy)를 제공하며, 이는 메타편집(MetaEdit)을 통한 개입을 지원합니다. 예를 들어, 0.5% 가지치기 비율에서 리더 기반 선택은 안전 유지 목표 하에서 유해 프롬프트 거부율을 57.9%에서 64.1%로 높였습니다. 또한 행동 설명을 사용하여 목표 작업 훈련 데이터 없이 메타편집을 적용했을 때, 수학적 추론 흔적에서 후퇴 및 하위 목표 표현의 빈도를 증가시키고 BFCL Overall을 41.69%에서 44.60%로 상승시켰습니다.

온폴리 정책 증류(OPD)를 강화 학습의 관점에서 연구하여 역-KL 목적 함수와 KL 정규화된 정책 최적화 간의 연결고리를 확립했습니다. 이를 바탕으로 가치 기반 강화 학습에서 얻는 낙관적 탐색과 오프폴리 데이터 재사용을 정책 증류에 도입하는 강화 학습 기반 프레임워크인 최소 제곱 정책 증류(LSPD)를 제안합니다. LSPD는 탐색을 통해 정책 다양성을 보존하면서도 이전에 수집된 궤적으로부터 반복적으로 학습하여 롤아웃 효율성을 개선합니다.

이론적으로 LSPD는 낙관적 가치 기반 학습과 연결되며, 이상적인 공식화는 온라인 탐색 하에서 샤프한 수학적 O(log K) 후퇴 경계를 달성함을 보여줍니다. 실제 실험 결과 LSPD는 여섯 가지 수학적 추론 벤치마크와 다양한 교사-학생 설정에서 기존 증류 기준선을 일관되게 능가했으며, 특히 Avg@16 지표에서 평균 1.59 포인트의 향상을 기록했습니다.

또한 Pass@k 평가를 k=64까지 수행했을 때 LSPD는 k가 증가함에 따라 성능이 향상되면서 정책 다양성을 더 잘 보존하는 것으로 나타났습니다. 완전히 오프폴리 변형은 롤아웃 배치 중 처음 25%의 배치만 사용하여 순수한 OPD와 비교하여 동등한 성능을 달성했습니다.

이러한 결과들은 OPD에 대한 강화 학습 관점을 제공하여 보다 효과적이고 롤아웃 효율적인 언어 모델 증류를 위한 원칙적인 해석과 실용적인 경로를 제시합니다.

비전-언어 모델이 문서를 이미지로 렌더링하여 시각 토큰으로 인코딩함으로써 텍스트 입력보다 입력 시퀀스 길이를 줄일 수 있습니다. 이러한 입력 길이 감소는 여러 후보 문서에 점수를 매기는 랭킹 작업에서 각 후보 평가 시 토큰 절감 효과를 제공하기 때문에 특히 유용합니다. 이를 위해 기존의 텍스트 기반 랭커가 사용하는 텍스트 토큰 시퀀스 대신 압축된 시각 문서 표현으로부터 쿼리 의존적 관련성 점수를 학습하는 랭커인 RenderRank를 소개합니다.

RenderRank는 먼저 시각 입력으로부터 얻은 관련성 점수를 텍스트 기반 교사(teacher)의 점수와 정렬한 다음, 동일한 쿼리에 대한 긍정 및 부정 문서의 상대 점수를 정제하는 방식으로 훈련됩니다. 이 방법은 11개의 BEIR 데이터셋에서 기존 텍스트 기반 랭커보다 16.5%에서 35.5% 적은 입력 토큰을 사용하면서도 평균 NDCG@10 55.96을 달성했습니다.

특히 네 개의 장문 문서 데이터셋에서는 평균 NDCG@10 88.27을 달성했으며, 평가된 텍스트 기반 랭커들의 평균 입력 토큰 수의 절반 수준을 사용했습니다. 이 결과는 압축된 시각 표현이 정확한 문서 관련성 점수를 지원하며 랭킹을 위한 텍스트 토큰 표현의 대안이 될 수 있음을 입증합니다.

RenderRank는 텍스트 토큰 표현을 대체하여 랭킹 작업에 적용될 때 1.70배 높은 평균 처리량을 제공합니다. 이는 시각 기반 압축 표현이 효율성과 정확성을 동시에 확보하는 새로운 접근 방식임을 보여줍니다.

명령 기반 이미지 편집은 단일 턴 설정에서는 강력한 성능을 보였으나, 실제 편집은 이전 결과에 다음 명령을 반복적으로 적용하는 반복적인 과정이 필요합니다. 기존 편집 모델들은 이러한 재귀적 편집 과정에서 성능이 급격히 저하되는 문제가 있으며, 이는 모델이 깨끗한 소스 이미지로 학습되었지만 추론 시에는 자신의 불완전한 출력에 반복적으로 조건화해야 하는 학습-테스트 분포 불일치에서 기인합니다.

이 문제를 해결하기 위해 연구진은 온-폴리시 자기 증류 프레임워크인 MT-OPSD를 제안했습니다. 이 방법은 다중 턴 주석 없이도 모델이 자체 생성한 조건화 상태를 학습하고, 깨끗하게 조건화된 교사로부터 편집 감독을 받아 학습하는 방식입니다. 또한 장기적인 견고성을 평가하기 위해 100회의 10턴 편집 세션을 포함하는 LME-Bench라는 벤치마크를 도입했습니다.

세 가지 편집 백본에 걸친 실험 결과, MT-OPSD는 장기 편집 성공률을 상당히 개선하고 다중 턴 붕괴를 줄이는 동시에 단일 턴 편집 품질을 크게 유지하는 것으로 나타났습니다. 이는 복잡하고 반복적인 이미지 편집 작업에서 모델의 견고성을 높이는 데 중요한 진전을 의미합니다.

새로운 프레임워크인 GeoVerse는 기하학적 잠재 공간 내에서 세계 일관성을 유지하며 새로운 시점을 합성하는 방법을 제시합니다. 이는 관찰된 영역의 충실한 재구성뿐만 아니라 보이지 않는 콘텐츠의 그럴듯한 완성을 목표로 하며, 다양한 시점 간의 세계 일관성을 유지하는 데 중점을 둡니다.

기존의 기하학 기반 방법들은 장면 구조를 보존하지만 미지의 영역을 채우는 데 어려움을 겪는 반면, 비디오 생성 모델은 풍부한 외관 사전 정보를 제공하지만 연속적인 시점 생성 시 불일치가 누적되는 문제가 있었습니다. GeoVerse는 이러한 한계를 극복하기 위해 사전 훈련된 3D 기반 모델의 기하학적 잠재 공간 내에서 생성하고 비디오 생성 모델의 외관 사전 정보를 주입하여 세계 일관성을 확보합니다.

구체적으로 GeoVerse는 Wan2.2 VACE에서 다중 레벨 특징을 추출하여 ControlNet 스타일 어댑터를 통해 기하학적 잠재 확산 모델에 주입하고 비디오 학습 외관 사전 정보를 통합하여 구조적 완성을 향상시킵니다. 또한, 전역 공간 메모리를 사용하여 관찰된 내용과 합성된 내용을 지속적으로 집계함으로써 이후 예측을 공유된 장면 표현에 고정시킵니다.

광범위한 실험 결과는 시각적 품질과 기하학적 일관성이 향상되었음을 보여주며, DL3DV에서는 GLD 대비 2.23 dB 더 높은 PSNR을, Mip-NeRF360에서는 32.4% 낮은 ATE를 달성했습니다. 이는 GeoVerse가 복잡한 3D 장면 합성에서 기존 방법보다 우수한 일관성을 제공함을 입증합니다.

세계 공간에서의 손 움직임 추정은 자이로스코프 기반 비디오에서 카메라의 움직임을 추적하면서 3차원 관절 손 기하학을 복원해야 하는 어려운 과제입니다. 기존 접근 방식들은 독립적인 손 자세 추정기와 SLAM 시스템을 연쇄적으로 사용하기 때문에 오류가 누적되고 파이프라인이 복잡하며 계산 비용이 매우 높다는 한계가 있었습니다.

이러한 문제를 해결하기 위해 InfiniHand는 비보정된 자이로스코프 비디오로부터 MANO 파라미터, 카메라 궤적, 손 위치를 동시에 추정하는 종단 간 스트리밍 순방향 프레임워크를 제시합니다. InfiniHand는 손 중심 시각 특징과 지속적인 시공간 메모리를 통합하여 카메라 움직임과 국소 손 기하학을 명시적으로 결합하는 통일된 아키텍처를 구축했습니다.

모델은 먼저 견고한 카메라 공간 손 사전 지식을 학습한 다음 스트리밍 세계 공간 재구성으로 확장하는 두 단계의 점진적인 방식으로 훈련되었습니다. 이 과정에서 여러 공개 데이터셋에 걸친 약 5,000시간 분량의 자이로스코프 데이터를 통합하여 학습을 진행했습니다.

광범위한 평가 결과, InfiniHand는 기존의 최첨단 기준 모델들을 능가하며, ViDiHand 대비 ARCTIC PA-p를 21.4% 감소시키고 세계 공간 드리프트를 상당히 완화했습니다. 또한, InfiniHand는 야외 비디오에서도 견고하게 일반화되며 11.19 FPS로 작동하여 HaWoR보다 두 배 이상의 처리량을 제공합니다.

안정적인 AI 안전장치는 모델의 위험 행동을 줄이는 제어 메커니즘과 모델 상호작용 중 안전 위험을 감지하는 모니터링 메커니즘을 모두 필요로 합니다. 기존의 행동 안전장치는 모델 출력을 최적화하는 정렬 방법과 상호작용 텍스트를 평가하는 텍스트 모니터로 구성됩니다.

반면, 표현 공학(Representation Engineering)은 모델의 내부 상태를 읽거나 수정하는 방식으로 접근하며, 이 두 접근 방식의 상대적인 강점은 평가 설정에 따라 달라지기 때문에 명확하지 않습니다. 연구진은 안전 제어를 위해 행동 정렬 방법인 DPO와 세 가지 표현 조향 방법들을 비교했습니다. DPO는 전반적으로 가장 강력한 제어를 제공하며 훈련 데이터 증가에 따라 개선되지만, 이후의 온건한 미세 조정 후에는 안전성이 저하될 수 있습니다.

표현 조향 방법은 특히 고품질 대조 데이터를 사용할 경우 데이터가 적은 환경에서 경쟁력을 유지합니다. 안전 모니터링 측면에서는 표현 탐침(representation probes)과 미세 조정된 텍스트 모니터를 비교했는데, 전문화된 텍스트 모니터가 전반적인 탐지 정확도에서 가장 강력한 성능을 보였습니다. 다만, 표현 탐침은 훨씬 낮은 한계 비용으로 경쟁력을 가집니다.

결론적으로 표현 공학은 행동 안전장치를 대체하지는 않지만, 특정 조건에서 실용적인 이점을 제공하며 보완적인 안전 이점을 제공할 수 있습니다.

언어 모델의 추론 능력을 향상시키기 위해 테스트 시 계산을 확장하는 것은 작은 추론 모델(sRM)에 특히 매력적입니다. 그러나 중간 추론 상태에 개입하는 것이 항상 올바른 작업인지에 대한 질문을 던지며, 연구진은 이러한 개입이 새로운 해답을 가능하게 하기보다는 현재 상태에서 이미 도달 가능한 해답으로 확률 질량을 통합하는 경향이 있음을 발견했습니다.

이러한 개입은 두 가지 실패 영역을 드러내는데, 하나는 실행 병목 현상으로, 올바른 경로가 도달 가능하여 반성이 이를 회복할 수 있는 경우이고, 다른 하나는 지식 병목 현상으로, 관련 외부 정보가 도달 가능하게 만드는 경우입니다. 연구진은 이 구분을 바탕으로 선택적 질의 프레임워크인 FlyBy를 도입했으며, 모델이 먼저 추론하고 해결되지 않은 부분을 진단한 다음, 지식 병목 현상에서 더 강력한 모델에 질의하도록 설계했습니다.

FlyBy는 지도 미세 조정과 비용 인식 강화 학습을 통해 구현되었으며, 이는 질의 여부, 무엇을 물어볼지, 그리고 얼마나 비용을 지출할지를 조정합니다. 6개 벤치마크의 1,158개 어려운 문제에서 FlyBy-4B는 45.96%의 pass@8을 달성하며, 서비스 비용을 2.7배 낮추면서 Qwen3-14B(41.64%)를 능가했고, pass@1에서도 Qwen3-8B(15.31%)보다 높은 16.85%를 기록했습니다.

FlyBy-8B로 확장했을 때 pass@8은 51.81%로 더욱 향상되었습니다. 이는 추론 과정에서 비용 효율성을 고려하고 지식 병목 현상을 해결하는 방식으로 모델의 추론 능력을 개선할 수 있음을 보여줍니다.