읽을 가치가 있는 기사만, 짧고 또렷하게.

LatentPress는 대화 기록과 긴 문서를 연속 메모리 토큰이라는 세 번째 표현으로 작성하여 텍스트 재구성 없이 고정된 디코더가 입력 임베딩 인터페이스를 통해 직접 읽을 수 있게 하는 방법을 제시합니다. 이 기술은 소규모 리더 매칭 라이터만으로 4배에서 16배까지 압축이 가능하며, 디코더의 0.1%에 불과한 어댑터만 훈련하여 효율성을 높입니다.

이 압축된 컨텍스트는 LongMemEval에서 압축률 7.70배 기준으로 비압축 증거의 0.490 정확도보다 높은 0.504의 정확도를 달성하여 텍스트 요약(0.184)이나 OCR 기반 압축(0.312~0.426)보다 우수한 성능을 보였습니다. 또한 LongBench-QA에서는 도메인 내 라이터가 4배에서 8배 압축 시 원본 컨텍스트 읽기와 동등하거나 능가하는 결과를 보였으며, 이는 16배 압축에서는 원본보다 성능이 떨어지는 것으로 나타났습니다.

LatentPress는 쓰기 작업에 43ms가 소요되어 텍스트 요약이나 OCR 복원보다 약 10배 빠르며, 읽기 작업은 원본 컨텍스트나 캐시된 OCR보다 5배에서 9배 더 빠르게 수행됩니다. 연구진은 이 인터페이스를 텍스트와 비전 외에 실용적인 기계 대면 컨텍스트 인터페이스로 확립하며, UltraChat에서 LongMemEval 메모리 QA로의 제로샷 및 LongMemEval 기반 QA에서 보지 못한 LongBench 문서 도메인으로의 전이 설정 모두에서 이 접근 방식을 검증했습니다.

최신 텍스트-투-SQL 시스템은 여러 후보 쿼리를 생성한 후 최적의 쿼리를 선택하는 generate-execute-select 파이프라인을 따르는데, 목록별 선택(listwise selection) 방식이 널리 채택되었으나 선택기(selector)를 미세 조정하는 것은 비용이 많이 듭니다. 이에 연구진은 미세 조정 없이 목록별 선택을 수행할 수 있는 방법을 제안합니다.

이들은 미세 조정 목표 두 가지를 추론 시점에 적용하는 방식을 사용하는데, 이는 선택 기준을 순서로 학습하고 위치 편향(positional bias)을 완화하는 것입니다. 이를 위해 모델 파라미터로 선택 행동을 학습하는 대신 재사용 가능한 구조화된 메모리(structured memories)를 구축합니다. 질문이 주어지면 MaP-SQL은 훈련 데이터에서 추출된 메모리를 검색하여 자연어와 스키마 요소, SQL 연산, 예상 출력 간의 매핑을 인코딩합니다. 이 메모리는 목록별 평가를 위한 명시적인 결정 기준으로 사용됩니다.

또한 목록별 선택기의 순서 편향을 완화하기 위해 실행 결과와 점수 계산을 통해 여러 입력 순열에 걸친 순위를 집계합니다. 이 접근 방식은 기존 대규모 언어 모델과의 호환성을 유지하면서 선택 정확도를 향상시키고 효율성을 유지합니다. 텍스트-투-SQL 벤치마크 전반에서 미세 조정 없이 더 안정적인 선택을 수행하며 불필요한 비교 횟수를 줄였습니다.

BIRD-dev 벤치마크에서 이 방법은 기존의 최첨단 선택기 기반 방법인 R^3-SQL보다 평균적으로 2.02 실행 정확도 포인트를 더 높은 성능을 보였으며, 동일한 후보 세트를 사용하여 토큰 수를 2.92배 적게 사용했습니다.

언어 모델의 다음 토큰 예측은 레이어별로 발전하며, 렌즈 방법은 중간 은닉 상태를 토큰으로 디코딩하여 이 과정을 추적합니다. 그러나 렌즈 읽기는 은닉 상태뿐만 아니라 이를 디코딩하는 데 사용된 출력(unembedding matrix)에도 의존합니다. 연구진은 여러 코퍼스에 맞춰진 렌즈들이 동일한 은닉 상태에 대해 서로 다른 토큰을 보고할 수 있음을 발견했는데, 이를 의존 코퍼스 조건성(dependence corpus conditionality)이라고 명명했습니다.

이러한 코퍼스 의존성을 배제하고 출력 구조를 독립적으로 검토하기 위해 희소 출력 프리즘(Sparse Readout Prism, SRP)을 도입했습니다. SRP는 출력의 가중치만을 사용하여 출력 구조를 분해하고, 토큰 로짓 또는 로짓 차이를 희소 출력 특징들의 합으로 표현합니다. 이는 토큰 정체성이 가릴 수 있는 출력 구조를 드러내고 토큰, 컨텍스트, 레이어, 렌즈 전반에 걸친 비교를 가능하게 합니다.

SRP를 사용하여 원래의 출력을 대체하면, 여섯 가지 기준선(baseline)보다 테스트된 로짓 차이의 8.9~17.3퍼센트를 더 재구성할 수 있습니다. 또한 SRP는 구축 시 코퍼스를 전혀 사용하지 않기 때문에 렌즈 분석에 대해 코퍼스와 독립적인 통제 변수를 제공합니다. 비록 토큰 읽기는 코퍼스에 따라 달라지지만, 지배적인 출력 특징은 안정적으로 유지됩니다.

거대 언어 모델(LLM)이 텍스트와 코드로만 학습되었음에도 인식 가능한 이미지를 생성할 수 있다는 사실이 있지만, 이것이 2차원 공간 레이아웃에 대한 내부 표현을 반영하는지 아니면 단순히 공간적 설명을 코드로 번역하는 능력에 불과한지는 불분명합니다. 연구진은 이러한 요소를 분리하기 위해 오토회귀 모자이크(Autoregressive Mosaics, AM-Bench)라는 벤치마크를 도입했습니다.

AM-Bench는 두 가지 과제를 통해 이를 구분합니다. 첫 번째는 모델에게 단어 프롬프트로 주어진 그림의 완전한 기하학적 구조를 코드로 변환하도록 요청하는 번역 과제입니다. 이 과제에서 여덟 개의 오픈 웨이트 텍스트-코드 전용 모델 모두 지정된 기하학적 구조를 코드로 신뢰성 있게 변환하지만, 개방형 레이아웃 성능은 크게 달라 코드 생성 능력만으로는 이러한 차이를 설명할 수 없음을 보여줍니다.

두 번째는 불완전한 프롬프트로부터 이미지를 구성하도록 요구하는 레이아웃 과제입니다. 이 연구는 출력 매체의 중요성도 보여주는데, 절차적 코드 대신 원시 SVG(raw SVG)를 사용했을 때 모든 모델에서 레이아웃 점수가 향상되었습니다. 또한, 모델 활성화 분석 결과 생성 전에 대략적인 레이아웃 계획이 존재하지만 이는 프롬프트가 암시하는 레이아웃만을 반영하며, 생성 중에는 초기 고정된 계획을 실행하는 대신 진화하는 기하학적 상태를 추적한다는 사실이 밝혀졌습니다.

결론적으로 텍스트 전용 LLM에서 2차원 공간 성능은 코드 생성 능력뿐만 아니라 모델 자체와 출력 매체에 따라 달라지며, 공간적 이해는 코드 생성 능력만으로 설명되지 않는다는 것을 시사합니다.

효율적인 3D 생성에 필수적인 압축된 토큰 시퀀스를 다루는 새로운 방법인 ZipTok3D를 제안합니다. 기존의 3D 토크나이저는 잠재 표현을 공간 영역이나 고정된 크기의 글로벌 토큰 세트로 조직하는데, 이는 토큰 예산을 극단적으로 줄일 경우 재구성 품질이 급격히 저하되는 문제가 있었습니다. ZipTok3D는 극도로 짧은 토큰 시퀀스에서 고충실도 재구성을 목표로 설계된 3D 토크나이저입니다.

이 방법의 핵심 아이디어는 객체 기하학을 점진적으로 정보가 풍부한 글로벌 토큰 접두사(prefix)로 조직하고 반복적인 디코딩을 통해 이 압축된 표현을 펼치는 것입니다. 학습 중 중첩 드롭아웃(nested dropout)을 사용하여 잠재 시퀀스를 인코딩 후 무작위로 잘라내고, 각 접두사가 전체 객체를 재구성하도록 요구함으로써 필수적인 기하학적 정보를 선행 토큰에 우선적으로 배치합니다.

디코더는 별도의 생성 샘플링 단계 없이 각 접두사로부터 미세한 기하학을 복구하기 위해 매번 파라미터 공유 트랜스포머 블록을 반복적으로 적용합니다. 그 결과, ZipTok3D는 동일한 토큰 차원에서 ShapeNet에서는 단 1개의 토큰, TRELLIS에서는 4개의 토큰만을 사용하여 32 토큰 COD-VAE 기준과 유사한 재구성 품질을 달성했습니다. 이는 토큰 시퀀스를 각각 32배 및 8배 더 짧게 만들 수 있음을 의미합니다.

장문 컨텍스트 LLM 추론에서 어텐션 프리필링 단계는 제곱으로 확장되어 셀프 어텐션을 심각한 계산 병목으로 만듭니다. 기존의 희소 어텐션 방법들은 고정된 패턴이나 오프라인 프로파일링을 통해 이를 완화하지만, 입력에 따라 달라지는 어텐션 구조에 적응하는 유연성이 부족합니다. 최근의 동적 방법들은 실시간으로 헤드를 희소 패턴에 라우팅하지만, 이는 오버헤드가 있는 간접 라우팅 프록시와 예산 할당 메커니즘을 사용하며 포스트-소프트맥스 질량 계층을 간과합니다.

본 논문은 이러한 동적 라우팅 패러다임의 두 가지 구조적 문제를 해결하기 위해 CRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)를 제시합니다. 첫째, 라우팅 결정이 프록시 어텐션 맵의 구조로부터 직접 읽을 수 있음을 보여줍니다. 이는 젠센-섀넌 발산(JSD) 라우팅을 대체하여 수직 슬래시 호환 위치에서 질량을 측정하는 구조적 프록시인 C_struct를 사용함으로써 풀링 매트멀(pooled matmul) 및 후속 KL 발산 오버헤드를 제거합니다. 둘째, 포스트-소프트맥스 질량 절벽(post-softmax mass cliff)을 형식화하고 엄격한 누적 커버리지 임계값이 장거리 컨텍스트에서 O(n) 배경 노이즈를 축적한다는 것을 이론적으로 입증합니다.

CRISP는 노이즈 바닥에 기반한 싱크 인식 임계값을 통해 이를 해결합니다. 경험적으로 InfiniteBench, RULER, LongBench에서 두 가지 모델 패밀리에 걸쳐 CRISP는 전체 희소 방법 중 가장 강력하며, 검색 중심 벤치마크에서 정확한 밀집 어텐션과 일치하거나 능가합니다. 특히 검색 작업에서 기준선 대비 최대 28.0 pp의 성능을 회복하며, 512k 토큰에서 최대 5.30배의 어텐션 속도 향상을 달성했습니다. 이는 선택 과정에서 O(n) 노이즈를 제거하면서 구조적 무결성을 보존하는 데 중점을 두었기 때문입니다.

최신 비전-언어 모델은 유창한 고수준 캡션을 생성하지만, 이미지의 시각적 특성(속성, 수량, 질감, 재료, 공간 관계)과 같은 세밀한 세부 사항을 놓치는 경우가 많습니다. 기존의 다단계 시스템은 이러한 세부 사항을 복구하지만 추론 지연 시간이 상당히 길다는 단점이 있습니다.

이에 연구진은 단일 패스(single-pass) 세밀 이미지 캡셔닝을 위한 참조 없는 임베딩 공간 목표인 SimLoss를 제안했습니다. SimLoss는 텍스트 디코딩 이전에 밀집된 시각적 감독 신호를 제공하여, 비전-언어 모델이 고정된 이미지 임베딩과 숨겨진 상태 표현을 정렬하도록 학습시킵니다. 이 방법은 인간이 작성한 세밀 캡션이나 다단계 파이프라인의 가짜 캡션이 필요하지 않습니다.

SimLoss는 SimLoss FFT와 SimLoss GRPO라는 두 가지 형태로 구현되었습니다. 완전히 미분 가능한 미세 조정 변형인 SimLoss FFT는 다단계 방법의 F1 점수를 거의 따라잡으면서도 단일 패스 추론을 유지하며 다단계 파이프라인보다 약 20배 빠른 속도로 실행됩니다. 반면, 보상 기반 변형인 SimLoss GRPO는 가장 강력한 재현율을 달성했습니다.

이러한 결과는 임베딩 공간 감독이 다단계 검증의 품질을 단일 패서의 지연 시간 내에서 복구할 수 있음을 보여줍니다. 즉, SimLoss를 통해 속도와 정확도 모두를 확보하며 세밀한 이미지 캡셔닝의 품질을 향상시킬 수 있습니다.

에이전트가 연구 프로토타입에서 실제 도구로 발전함에 따라 모델의 능력은 에이전트 하네스(agent harness)라는 모델 외부 실행 인프라에 크게 의존합니다. 모델 가중치를 고정한 상태에서 이 하네스를 변경하면 작업 성능이 크게 달라질 수 있습니다. 기존 에이전트 평가는 선택된 하네스 하에서 다운스트림 성능을 보고하는 데 그쳐 모델이 하네스를 자체적으로 개발하는 능력은 충분히 탐구되지 않았습니다.

이에 연구진은 작업 결과물 대신 실행 가능한 인프라를 평가 단위로 전환하는 벤치마크인 HarnessDev를 소개합니다. 이 벤치마크는 두 단계로 구성됩니다. 생성(Creation) 단계에서는 에이전트가 최소한의 시드와 몇 가지 사례에서 시작하여 완전한 실행 시스템을 구축합니다. 진화(Evolution) 단계에서는 에이전트가 자체 생성한 하네스를 기반으로 다운스트림 실행 피드백을 반복적으로 수정하여 벤치마크 성능을 개선하는 것을 목표로 합니다.

각 구축된 하네스는 능력(홀드아웃 벤치마크에서의 작업 성공 여부)과 효율성(실행 토큰 비용)을 기준으로 평가됩니다. 생성 결과는 코드 및 검색/연구 분야의 성숙한 인간 공학적 참조 자료에 비해 상당히 뒤처지지만, 글쓰기와 머신러닝 실험 분야에서는 선택된 참조 자료와 일치하거나 능가하는 결과를 보였습니다. 그러나 진화 과정에서 얻은 성능 향상은 불안정하며 홀드아웃 작업으로의 전이가 부분적에 불과합니다. 또한, 고정된 런타임 모델 실험 결과는 성능 향상이 하네스를 실행하는 모델에 강하게 의존함을 보여주어 모델 간의 제한적인 전이를 시사합니다.

임베딩 기반 코드 검색은 코딩 에이전트와 검색 증강 코드 생성의 핵심 요소이며, 단순히 유사한 코드보다 정확한 코드를 검색하는 것이 더 중요합니다. 그러나 기존의 코드 검색 벤치마크는 각 쿼리의 정규 구현에 대한 실행 검증된 단일 수정 변형을 검색 풀에 포함하지 않아, 임베딩이 올바른 코드와 거의 동일하지만 잘못된 코드 사이의 기능적 차이를 구별할 수 있는지에 대한 질문이 해결되지 않았습니다.

이러한 문제를 해결하기 위해 연구진은 검색 풀 자체에 관련 반사실(counterfactuals), 즉 정규 구현과 거의 동일하지만 실행이 검증된 버그 변형을 포함하는 벤치마크를 제안합니다. 이 벤치마크를 통해 검색기(retriever)의 순위 지정이 주제나 동일성 중복이 아닌 기능적 차이를 직접적으로 테스트할 수 있도록 합니다. 연구팀은 939개의 파이썬 작업을 도입하여 각 작업마다 실행 검증된 정규 구현과 최대 네 개의 실행 검증된 버그 방해 요소를 쌍으로 구성했습니다.

ExecRetrieval 실험 결과, 이러한 반사실이 포함된 풀에서 상위 시스템은 exec@10 값은 1.00에 도달했지만 exec@1 값은 0.331에 불과했습니다. 또한, 4개 선도 시스템 전반에 걸쳐 순위 1 오류는 쌍으로 구성된 버그 변형인 경우 91.5%에서 99.4%의 확률로 발생했으며, 정규 코드 점수는 선도 시스템에서 67%에서 78%의 쿼리에서 최소한 네 개의 방해 요소 중 하나보다 낮았습니다.

전체 데이터셋, 실행 오라클, 임베딩 행렬, 환경 스냅샷 및 쌍별 통계 테스트 결과는 부록 D에 공개되어 있습니다.

동물 움직임에 대한 이해는 생물학 및 생체역학 모델링에 필수적이지만, 고품질 움직임 데이터 부족으로 인해 인간 움직임 연구에 비해 발전이 더디게 진행되어 왔습니다. 대부분의 동물은 통제된 환경에서 움직임을 포착하기가 비현실적이어서, 애니메이션과 같은 후속 응용 분야에 제한적인 데이터셋만 존재했습니다.

이러한 문제를 해결하기 위해 연구진은 비디오에서 움직임을 재구성하고 대규모로 움직임 사전 지식(motion priors)을 학습하며 실제 적용 가능한 움직임을 생성하는 프레임워크인 Kirin을 소개했습니다. Kirin은 야생 동물 비디오를 사용하여 3차원 움직임 시퀀스를 재구성하고 캡션과 쌍을 이루어 사족 보행 동물에 대한 정렬된 비디오-텍스트-움직임 튜플을 제공하는 최초의 대규모 데이터셋인 AiM3D를 구축했습니다.

이 AiM3D 데이터셋을 기반으로, 연구진은 텍스트와 이미지를 모두 조건으로 사용하여 다양한 동물 종에 걸쳐 현실적인 움직임을 안내하는 시각 기반 움직임 생성 모델을 개발했습니다. 최종적으로, 이 생성된 움직임을 활용하여 기존의 이미지-3D 모델을 통해 3차원 메시를 자동으로 리깅하고 애니메이션화하여 바로 렌더링할 수 있는 움직이는 동물을 만들어냅니다.

결과적으로 이 데이터셋과 프레임워크는 대규모의 텍스트 및 이미지 조건부 동물 움직임 생성 및 애니메이션을 위한 새로운 기반을 확립했습니다.

검색 및 광고 시스템에서 검색은 후보 집합을 선택하는 첫 단계이며, 최근에는 LLM을 활용하여 질의 확장, 데이터 합성, 검색 피드백 훈련 등을 통해 검색 성능을 개선하는 연구가 활발합니다. 그러나 기존 방식에서는 생성 요소가 주로 질의 측 증강에 사용되고 최종 매칭은 하위 검색기에게 위임되는 한계가 있었습니다.

본 논문은 이러한 한계를 극복하기 위해 CoGR이라는 새로운 검색 프레임워크를 제안하며, LLM이 질의와 아이템 양쪽 모두에서 직접 검색 표현을 구축하도록 훈련시킵니다. 각 생성기는 키워드 집합을 생성하고 이를 역 인덱스를 통해 직접 매칭하여 기존 키워드 기반 검색 인프라와의 호환성을 유지합니다.

CoGR은 두 단계의 훈련 파이프라인을 사용하는데, 먼저 지도 미세 조정(Supervised fine-tuning)을 통해 키워드 공간을 정렬한 후, GRPO를 이용한 공진화 강화 학습(co-evolving reinforcement learning)을 통해 질의 및 아이템 측 생성기를 서로의 고정된 인덱스에 대해 상호 최적화합니다. 이때 아이템 측은 생성된 키워드가 질의 측 F1에 미치는 변화를 측정하는 반사실적 한계 보상(counterfactual marginal reward)을 받습니다.

이러한 접근 방식은 10가지 대표적인 희소, 밀집, 생성 기준선에서 내부 APP 마켓플레이스 데이터셋과 공개 WANDS 벤치마크 모두에서 최고의 성능을 달성했습니다. CoGR은 가장 강력한 기준선 대비 F1 점수를 각각 10.9%와 36.1% 향상시켰으며, 훈련 과정에서 질의와 아이템 키워드 공간이 안정적으로 공진화하고 정렬됨을 추가 분석을 통해 확인했습니다.

장기 실행 LLM 에이전트는 상호작용 전반에 걸쳐 권한, 제한, 취소 등의 상태를 유지하기 위해 영구 메모리에 의존합니다. 그러나 메모리가 이러한 진화하는 권한 상태를 잘못 표현할 경우, 에이전트의 기록 자체가 실제 이력이 허용하지 않은 권한을 부여하여 외부 공격 없이도 비정렬된 행동을 초래합니다. 연구진은 이러한 실패를 내재적 권한 세탁(endogenous authorization laundering)이라고 명명하며, 메모리에 기록된 허위 권한이 출처를 잃으면서 무단 행동으로 이어지는 현상을 설명합니다.

이 문제를 측정하기 위해 연구진은 영구 메모리가 진화하는 권한 상태를 얼마나 정확하게 보존하는지, 그리고 오류가 하위의 무단 행동으로 전파되는지를 측정하는 EAL-Bench를 도입했습니다. 이 벤치마크를 통해 다섯 개의 LLM을 메모리 작성자로, 두 개를 실행자로 평가했으며, 증분 메모리 업데이트 하에서 작성자는 무단 요청의 최대 50.2%에 해당하는 허위 권한을 생성하는 것으로 나타났습니다.

실제로 허위 권한이 존재하게 되면 실행자들은 98.6%의 실험에서 이를 바탕으로 행동을 취하는 것으로 확인되었습니다. 이러한 권한 세탁을 줄이기 위해 저장된 권한이 유효한 출처 이벤트에 의해 뒷받침되도록 하고, 경계가 있는 이벤트 소싱(bounded event sourcing)을 통해 권한 변경 사항을 추적하는 두 가지 안전장치를 제안했습니다. 하지만 이러한 안전장치는 더 합법적인 행동을 거부하기 때문에 안전성과 유용성 사이의 상충 관계를 노출합니다. 따라서 영구 메모리는 단순한 성능 구성 요소가 아니라 LLM 에이전트의 효과적인 권한 정책의 일부로 간주되어야 합니다.

모방 학습을 통해 습득된 숙련된 조작 정책이 작업 실행 속도 변화에 대해 얼마나 시간적 견고성을 유지하는지 비교 분석했습니다. 연구진은 동일한 작업 조건과 초기 조건 하에서 전문가와 액션 청킹 트랜스포머(ACT) 정책을 비교했으며, 이는 학습된 정책의 시간적 견고성을 평가합니다.

실험은 물체를 획득, 재정렬, 삽입하는 접촉이 풍부한 작업인 ParcelStow에서 진행되었으며, 물체 획득 후 조작 단계의 가속 범위에 걸쳐 시연이 이루어졌습니다. 스크립트화된 전문가와 전문가 시연으로부터 학습된 ACT 정책 모두 공칭 속도에서는 100%의 작업 성공률을 달성했지만, 최대 속도에서는 성공률이 크게 차이를 보였습니다. 전문가의 성공률은 84%였던 반면, ACT 정책의 성공률은 53%에 불과했습니다.

특히 ACT 정책은 공칭 속도에서 최대 시연 속도로 갈수록 성공률이 크게 저하되었는데, 이는 전문가의 성공률이 최대 속도에서 16% 감소한 것에 비해 34%에서 48% 포인트 감소한 수치입니다. 또한 최대 속도에서 발생한 ACT 실패 사례 중 35건은 삽입 정렬 오류로 나타났습니다. 상대 운동 핸드오프 상황에서 ACT 획득물은 64%만이 전체 작업을 완료한 반면, 전문가는 95%를 완료했습니다.

결론적으로 공칭 작업 성공률이 같더라도 실행 속도 변화에 따른 전문가 성능의 보존을 의미하지 않으며, 이는 모방 학습 정책이 실행 속도에 따라 시간적 견고성이 달라질 수 있음을 시사합니다.

지식 증류(KD)는 더 강한 교사로부터 학습을 통해 작은 언어 모델(LM)을 훈련하는 데 사용되지만, 훈련 단계에 따라 그 이점이 달라진다는 연구 결과가 나왔습니다. 표준 KD 방식인 순방향 쿨백-라이블러(KL) 증류를 사용한 실험 결과, 사전 훈련 단계에서는 표준 다음 토큰 예측(NTP) 대비 추론 능력과 사실적 회상 능력이 동시에 향상되지만, 중간 훈련 단계에서는 추론 능력은 계속 향상되더라도 사실적 회상 습득이 오히려 느려지는 현상이 관찰되었습니다.

이러한 단계 의존성은 교사의 신뢰도 불균형과 학생의 지식 상태 변화에서 기인하는데, 교사는 절차적 데이터에 더 자신감을 가지는 반면 학생은 훈련 초기에 낮은 엔트로피의 사실적 지식을 습득하기 때문입니다. 연구진은 이러한 불균형을 완화하기 위해 중간 훈련 목표인 스위치 증류(Switch Distillation)를 제안했습니다. 스위치 증류는 교사가 자신감을 갖는 토큰에 집중하여 증류하고 교사의 예측 엔트로피를 경량 라우팅 신호로 사용하여 효율성을 높입니다.

스위치 증류는 기존 증류 목표보다 우수한 성능을 보였으며, 표준 NTP 대비 추론 능력은 1.61~1.71배, 지식 및 상식 능력은 1.13~1.19배 향상시키면서도 사실적 회상 능력은 96.7~96.8%를 보존했습니다. 특히 훈련 후에도 이러한 이점은 지속되었는데, 스위치 증류는 사실적 회상 격차를 해소하면서 추론 및 지식/상식 능력에서 각각 1.25~1.32배 및 1.13~1.20배의 향상을 유지했습니다.

샤오미 15 울트라를 루트 권한 없이 컴퓨터에 연결하지 않고 디블로트하는 방법에 대한 가이드가 제시됩니다. 이 방법은 안드로이드 17 대신 안드로이드 16 버전에 운영체제를 고정하여 불필요한 텔레메트리, 사용자 권한, AI 관련 서비스 등을 최소화하는 것을 목표로 합니다.

사용자는 이 과정을 위해 공장 초기화부터 시작하여 시스템 설정을 재구성해야 하며, 특히 위치 정보, 시스템 업데이트, 사용량 및 진단 데이터 전송, 사용자 경험 프로그램, 그리고 다양한 확장 서비스 등을 비활성화해야 합니다. 이 과정은 기기의 기능을 최대한 유지하면서 개인 정보 보호를 강화하는 데 중점을 둡니다.

또한, 최신 카메라 애플리케이션 개선을 위해 HyperOS의 최신 버전으로 펌웨어를 업데이트해야 하며, 이 과정에서 블루투스 모듈 및 배터리 펌웨어 업데이트도 함께 진행해야 합니다. 하지만 업데이트 후에는 대부분의 사용자 정의 권한이 초기화되므로, 사용자는 이 점을 인지하고 진행해야 합니다.

이 가이드는 숙련된 사용자에게 권장되며, 절차를 따르지 않을 경우 기기가 손상되거나 데이터가 손실될 수 있으므로 모든 데이터 백업이 필수적입니다. 따라서 사용자는 제시된 정보를 참고하여 신중하게 시스템 설정을 조정해야 합니다.

상업용 단편 드라마 제작은 스크립트, 스토리보드, 키프레임 이미지, 샷 레벨 비디오, 그리고 완성된 단편 드라마로 이어지는 다단계 체인을 따른다. 기존의 대부분의 벤치마크는 실제 상류 파이프라인 결과 대신 사전 작성된 입력을 사용하여 비디오 생성 단계만을 평가하므로, 각 단계가 원본 스크립트 의도를 준수하는지, 그리고 여러 에피소드로 편집될 때 샷들이 일관성을 유지하는지에 대한 중요한 질문들이 해결되지 않았다.

이에 따라 본 연구는 전체 제작 체인의 모든 단계를 평가하는 최초의 단편 드라마 벤치마크인 DramaChain Bench을 제시한다. 이 벤치마크는 DramaChain Dimensions라는 세 가지 내부 시스템을 기반으로 구축되었으며, 각 단계마다 5개의 평가 축을 설정하여 총 63개의 세부 차원(leaf dimensions)으로 평가한다.

DramaChain Agent는 상업용 단편 드라마 플랫폼의 워크플로우 및 완성된 드라마 품질에 맞춰 보정되었으며, 레이블링 시스템은 5,785개 항목에 대해 세 명의 전문 주석가로 독립적으로 점수를 매겼다. 이 과정에서 모든 결함은 시공간적으로 국소화되었으며, 총 17,488개의 유효 점수와 255,925개의 추적 가능한 귀속 기록이 생성되었다.

인간 주석 결과는 상류 결함이 파이프라인 전체에 걸쳐 연쇄적으로 발생함을 확인시켜 주며, 최종 에피소드의 품질이 비디오 생성에만 의해 결정되는 것이 아님을 입증한다. DramaChain Agentic Judge는 모든 세부 차원을 자동으로 점수화하여 여러 에이전트 라운드를 거쳐 최종 판단을 내리며, 평균 PLCC 0.918을 달성하여 주석 비용 없이 새로운 모델을 수용할 수 있게 한다.

데이터 주권 제약으로 인해 기업들은 거대 언어 모델(LLM)을 자체 호스팅해야 하지만, 새로운 모델을 지속적으로 채택하면서 이전 모델을 폐기하지 않아 GPU 풀이 분산되고 있습니다. 이 문제를 해결하기 위해 200개 이상의 내부 애플리케이션 트래픽을 단일 모델로 통합하고, 생산 오류 분석을 통해 지시 사항 준수, 함수 호출, 내부 작업 분배라는 세 가지 축을 중심으로 품질 격차를 해소했습니다.

품질은 생산 트래픽에 맞춰 분류된 오프라인 벤치마크를 통해 결정론적 검증기나 보정된 LLM 심사위원으로 평가됩니다. 모든 목표를 동시에 최적화할 경우 발생하는 교차 도메인 보상 간섭 문제를 피하기 위해, 각 축별로 별도의 GRPO 전문가를 훈련한 후 두 단계의 SLERP를 통해 통합하는 방식을 사용했습니다.

각 전문가의 보상은 의미론적 붕괴, 과도한 호출, 장황함 해소와 같은 뚜렷한 실패 모드를 노출하며, 이는 각 도메인별 수정이 필요함을 의미합니다. 비추론 모드에서 이 모델은 사내 아레나에서 총 파라미터 기준으로 {sim}7배 더 큰 성능을 보였으며, 지시 사항 준수는 0.85에서 0.83 사이, 함수 호출은 0.79에서 0.77 사이의 성능을 기록하며 일반 대화 벤치마크를 향상시켰습니다.

이 모델은 서비스 비용의 일부로 플랫폼 트래픽의 50%, 즉 월 1억 1600만 건의 요청을 처리할 수 있어 효율적인 자원 활용을 가능하게 합니다.

Looped Transformers는 레이어 블록을 반복하여 유효 깊이를 증가시키지만, 기존 평가 방식은 모델 크기가 고정되어 있어 구조적 이점과 추가적인 FLOPs를 혼동하는 문제가 있었습니다. 본 연구는 Mixture-of-Experts(MoE) Transformer에 루핑을 적용하면서 토큰당 FLOPs, 총 비임베딩 파라미터, KV 캐시를 정밀하게 일치시키는 방식으로 분석을 진행했습니다.

이를 통해 연구진은 SMELT(Sparse MoE Transformer, middle layers Loop Twice)라는 구체적인 방법을 제시했습니다. SMELT는 중간 레이어 절반을 두 번 반복하면서 루프되지 않은 기준선과 세 가지 예산 모두에서 일치시키는 레시피입니다. 이 방법을 54B 비임베딩 파라미터까지 확장하여 적용한 결과, SMELT는 계산 최적 지점에서 훈련 FLOPs를 6.8%에서 18.0%까지 절약하는 것으로 나타났습니다.

이러한 효율성 증가는 검증 손실을 넘어선 다운스트림 벤치마크에서 가장 크게 나타났으며, 특히 Code 관련 작업에서 성능 향상이 두드러졌습니다. 또한 샘플 길이와 인컨텍스트 예제 수에 따라 이 이점은 증가하는 것으로 확인되었습니다.

기계적 분석 결과, 두 번째 방문은 어텐션 싱크를 줄이고 정보를 콘텐츠 관련 토큰으로 재분배하여 성능 향상의 근본적인 원인이 될 수 있는 귀납적 편향을 제공합니다. 이는 루핑이 예산 일치 조건 하에서도 트랜스포머 성능을 개선하며 깊이 재사용을 측정 가능한 이득으로 전환하는 실용적인 방법을 제공함을 보여줍니다.

언구이디드(Unguided) 방식으로 진행되는 언어 모델의 셀프 플레이는 효과적인 자기 진화 패러다임이지만, 가이드 없이 진행될 경우 라운드별 성능이 정체되거나 하락할 수 있습니다. 기존 방법들은 난이도나 다양성 같은 신호를 통해 질문을 생성하지만, 다음 라운드에서 해결해야 할 구체적인 추론 약점을 지정하지 못합니다.

본 연구는 이러한 방향성을 솔버 자신의 실패 기록에서 도출하는 방법을 제시하며, 이를 위해 DiagEvo라는 모델을 소개합니다. DiagEvo는 이 실패 기록에서 반복되는 오류 원인을 추출하여 계층적 오류-원인 메모리(hierarchical error-cause memory)에 저장합니다. 이 메모리는 관련 원인들을 기술 노드 아래에 그룹화하고, 특정 질문에 대한 자기 일관성(self-consistency)을 통해 각 원인을 활성(Active) 또는 숙달(Mastered) 상태로 추적합니다.

추가적으로 이 방법은 이중 신뢰 필터링(double-confidence filtering)을 사용하여 가장 일반적인 솔버 답변에 명확한 표가 있을 때만 중간 난이도의 질문을 유지합니다. DiagEvo는 외부 작업 자원 없이 셀프 플레이 과정에서 생성된 정보만을 사용하여 커리큘럼을 도출합니다.

이러한 접근 방식을 통해 DiagEvo는 Qwen3-4B, Qwen3-8B, OctoThinker-8B 세 가지 솔버 모두에서 아홉 가지 벤치마크 전반에 걸쳐 모든 기준 모델을 능가하는 평균 정확도를 달성했습니다. 특히 Qwen3-8B에서는 다섯 가지 수학적 추론 벤치마크에서 72.3%의 평균 정확도를 기록했으며, 이는 R-Zero보다 4.5 퍼센트 포인트 높은 수치입니다. 이 결과는 계층적 오류-원인 메모리와 이중 신뢰 필터링이 성능 향상에 기여했음을 보여줍니다.

SAR 이미지를 전기광학(EO) 이미지로 변환하는 작업은 기존 잠재 확산 접근 방식에서 코덱과 모달리티에 따라 재구성 충실도가 달라지는 문제가 있었습니다. 잠재 코덱은 SAR 조건과 EO 목표의 왕복 보존에 영향을 미치기 때문에 코덱 선택이 중요한 설계 결정이지만, 기존 방법들은 주로 자연 이미지로 사전 학습된 코덱에 의존했습니다.

이에 연구진은 SAR-EO 재구성 감사를 통해 코덱을 선택하는 조건부 잠재 흐름 매칭 프레임워크인 ReFlowSET을 제안합니다. ReFlowSET은 무거운 사전 학습된 생성기를 상속받는 대신, 선택된 잠재 공간에서 처음부터 훨씬 작은 조건부 DiT를 훈련합니다. 이 과정에서 이중 스트림 SAR 조건화와 공동 특징 정제를 사용합니다.

추가적인 의미론적 지도를 제공하기 위해, 중간 단계의 노이즈 EO 특징은 고정된 비전 파운데이션 모델로 추출된 깨끗한 목표 EO 표현과 정렬됩니다. 이 정렬은 훈련 중에만 사용되어 추론 비용을 추가하지 않습니다. QXS-SAROPT 및 SAR2Opt 실험 결과는 다양한 지각적 충실도와 분포 측정 기준에서 최고 수준의 성능을 입증했습니다. 코드와 사전 학습된 가중치는 공개되어 있습니다.