읽을 가치가 있는 기사만, 짧고 또렷하게.

임체이션 보고서에서는 내재된 지능을 위한 일반적인 세계 모델 시뮬레이터인 Pelican-Sim 1.0을 제안하며, 이는 시각적 맥락과 로봇 행동으로부터 미래 관측을 예측하여 다운스트림 학습과 의사 결정을 지원합니다. 이 모델은 네 가지 핵심 설계 특징을 통합하고 있습니다. 첫째, 대부분의 주류 구현체를 포괄하는 28차원의 행동 값 공간을 제공하는 통일된 행동 표현을 통해 이기종 장치 간에 모델의 유효성을 유지합니다. 둘째, URDF 및 카메라 렌더링된 행동 비디오를 주입하여 행동과 픽셀을 연결함으로써 구현체, 장면, 작업 전반에 걸쳐 훨씬 더 나은 제어 가능성을 제공합니다. 셋째, 희소 혼합 전문가(MoE) 레이어를 사용하여 이기종 동역학을 위한 용량을 추가하고 행동 양식을 흡수하면서 상호 양식 충돌을 줄입니다. 넷째, 인과적 적응 및 소수 단계 증류를 통해 4단계 자기회귀 시뮬레이터를 달성하여 기존 모델보다 5.67배 빠른 속도를 보입니다.

이러한 설계 덕분에 약 백만 개의 실제 및 시뮬레이션 궤적을 훈련하여 행동 제어 및 비디오 품질에서 큰 이점을 얻었습니다. 특히 RoboTwin에서 PSNR은 기존 최고 기준보다 4.636, 2.080, 10.343만큼 향상되었으며, 적응된 EWMBench DYN 점수는 0.426 상승했습니다. 이 결과를 바탕으로 RoboTwin에서 네 가지 다운스트림 응용 분야가 성공적으로 수행되었는데, 500개의 생성된 궤적과 각 작업당 50개의 시연을 추가함으로써 정책 성공률이 70%에서 93%로 증가했습니다.

또한 정책 평가는 다섯 가지 체크포인트에 걸쳐 0.994의 피어슨 상관관계를 달성했으며, 행동 선택에 있어서는 47.7%, 정책 개선에 있어서는 20.3%의 상대적 성공 이득을 보였습니다. 이는 궤적, 장면, 객체, 구현체, 시점 변화에 걸친 질적 일반화 능력을 강조하며 Pelican-Sim 1.0이 범용 세계 모델 시뮬레이터로서의 잠재력을 보여줍니다.

화재 후 환경에서 물체들은 기하학, 재료 상태, 시각적 외관이 비가역적으로 변형되므로 이러한 잔해를 탐지하고 식별하는 것이 위험 요소 위치 파악, 사전 사고 내용 복원, 손실 재고에 매우 중요합니다. 이러한 상황을 연구하기 위해 연구진은 화재 후 물체 이해를 위한 변환 인식 벤치마크인 TRACE를 소개했습니다. TRACE는 21.4K개의 실제 이미지 기반 합성 장면과 189개 범주에 걸친 499개 객체 식별에 대한 쌍별(pristine-to-degraded) 진행 과정을 포함하고 있습니다.

TRACE는 손상된 객체 탐지, 원상 복구 및 검색, 원래 재료 복구, 원상 상태 설명 생성, 기능적 추론을 목표로 하는 다섯 가지 작업을 정의합니다. 기존 모델들은 손상 정도에 따라 성능이 급격히 저하되는데, 예를 들어 RF-DETR의 mAP는 71% 감소했으며 InternVL3.5의 검색 성능은 93.85점에서 28.11점으로 떨어졌습니다.

이에 대응하여 연구진은 Feature Recovery Module(FRM)을 제안했습니다. FRM은 호스트를 고정시킨 채 손상된 인코더 특징을 원상 상태에 정렬된 표현으로 매핑하는 플러그 앤 플레이 모듈입니다. FRM은 쌍별 특징 감독만을 사용하여 훈련되었으며, 장면 수준 탐지, CLIP/SigLIP2 특징 복구, 그리고 네 가지 객체 수준 VLM 작업 모두를 개선했습니다.

FRM은 손상 정도가 심할수록 더 큰 성능 향상을 보였으며, VLM 호스트와 손상 수준 전반에 걸쳐 검색에서 12.5%, 재료 복구에서 20.1%, 설명 생성에서 13.2%, 기능적 추론에서 12.4%의 상대적 성능 향상을 평균적으로 달성했습니다.

하이브리드 예측에서 언어 모델은 여러 신호 중 하나로 사용되는데, 시스템은 모델이 유용한 정보를 추가하는지 아니면 무시해야 할지 결정해야 합니다. 따라서 연구는 모델의 단독 정확도가 아닌, 사용 가능한 외부 예측을 넘어선 모델의 한계치인 상대적 역량(relative competence)에 초점을 맞춥니다.

연구진은 브라이어 손실(Brier loss) 하에서 모델 불일치가 외부 예측을 개선할 수 있는 경우를 분석하고, 도메인별 풀링 가중치 대신 전역 풀링 가중치를 사용하는 것에서 얻는 이득을 도출했습니다. 이를 위해 해결된 결과로부터 도메인 수준의 출처 가중치를 추정하고, 불확실한 추정치를 전역 가중치 쪽으로 축소하며 풀링 예측을 재보정하는 역량 게이트(competence gate)를 도입했습니다.

이 게이트는 2,357개의 해결된 이진 질문과 다섯 가지 언어 모델에 대해, 주요 외부 기준선 브라이어 점수를 0.0771에서 0.0732로 개선하고 전역 예측 조합보다 유의미하게 우수한 성능을 보였습니다. 이러한 결과는 측정된 한계치에 기반하여 모델을 선택적으로 사용하는 실용적인 접근 방식을 제공합니다.

다만, 이 게이트는 공식 ForecastBench 시장 하위 집합에서는 시장에 크게 의존하며 유의미한 개선을 보이지 않았습니다. 또한, 결과는 가중치 누수 제어 및 누수 안전 시계열 사전(leakage-safe time-series prior) 하에서 유효하며, 언어 모델의 언어적 신뢰도는 외부 예측보다 모델이 우수한 시점을 신뢰성 있게 식별하지 못했습니다.

전자잉크 리더기에서 줄무늬가 사라진 사건은 하드웨어와 소프트웨어 간의 미묘한 타이밍 문제에서 비롯되었습니다. 저자는 Xteink X3 기기에 오픈소스 펌웨어인 CrossPoint를 설치하고 그 과정에서 발생한 이미지 렌더링 오류를 조사했습니다. 초기에는 화면이 회색 톤을 지원함에도 불구하고 어두운 영역이 흐릿하게 나타나는 현상이 발생했으며, 이는 두 개의 다른 이미지 렌더러가 상이한 결정을 내리고 있었음을 시사했습니다.

조사 결과, 이 줄무늬는 이미지 파일 자체의 결함이 아니라 전자잉크 디스플레이의 전기적 작동 방식과 관련이 있었습니다. 전자잉크는 전압 펄스를 사용하여 흑백 입자를 움직이며, 회색 톤을 표현하기 위해서는 특정 시간 간격(nudge)이 필요합니다. 이 타이밍이 제대로 처리되지 않을 때 줄무늬가 발생하는데, 이는 흑백 전환이 아닌 회색 디더링(dither) 과정에서 발생하는 현상이었습니다.

저자는 GPT-6 Astra와 Fable 5.1을 사용하여 이 문제를 해결했습니다. Astra는 고속 푸리에 변환(FFT)을 통해 패턴을 분석하여 두 픽셀 너비의 반복 패턴을 발견했지만, 초기에는 디더링 알고리즘의 문제로 오인했습니다. 최종적으로 코드를 수정하여 문제의 원인을 해결했으며, 이는 전자잉크 패널의 전기적 아키텍처와 렌더링 타이밍의 중요성을 보여줍니다.

이 경험은 저수준 장치 해킹에 대한 이해를 높였으며, AI 도구를 활용하여 복잡한 하드웨어 버그를 추적하고 해결하는 과정이 매우 효과적임을 입증했습니다. 이는 향후 전자잉크 디스플레이와 같은 소형 디바이스의 개발 및 디버깅에 중요한 통찰을 제공합니다.

Ambient @ EgoLongQA 2026 경진대회에서 2B 파라미터 이하 모델 부문에서 0.8279의 성능으로 1위를 차지했습니다. 이 시스템은 10분짜리 자각적(egocentric) 비디오에 대한 객관식 질문에 답할 수 있는 단일 2B 비전-언어 모델로, 단 한 번의 탐욕적 순방향 패스로 답변을 생성합니다.

해당 모델은 대규모 에이전트 파이프라인의 주니어 인식 모듈을 에이전트 전체가 아닌, 정답으로 필터링된 교사 흔적(teacher traces)을 사용하여 소규모 학생 모델로 증류(distillation)하여 얻어졌습니다. 이 과정에서 모델은 전체 파라미터의 1.1%만을 사용하여 대규모 파이프라인의 89%에 달하는 정확도를 달성했습니다.

이러한 증류를 통해 기본 모델의 성능이 27.1% 향상되어 테스트 세트에서 81.4%의 정확도를 기록했습니다. 또한, 2B 백본은 2.2132B 파라미터로 부문 제한을 초과했기 때문에, 입상을 허용하기 위해 다국어 임베딩 테이블을 248,320개에서 143,469개 행으로 가지치기(prune)하여 1.9985B 파라미터로 만들었으며, 이 과정에서 유지된 행들의 로짓은 동일함을 보장했습니다.

Logesh Kumar Umapathi는 ECCV 2026 웨어러블 AI 챌린지의 EgoProactive 트랙에 제출한 연구 결과를 발표했습니다. 이 연구는 사용자가 각 8초 영상 세그먼트 후에 개입할지 침묵을 지킬지 결정하는 웨어러블 비서의 능력을 다루고 있습니다. 연구팀은 이 과제를 해결하기 위해 두 가지 주요 구성 요소를 제시했습니다.

첫 번째 구성 요소는 개입 타이밍을 단일 토큰 분류로 재정의하는 것입니다. 모델이 '방해(interrupt)' 또는 '침묵(silent)'을 생성하는 대신 '예/아니오'를 예측하도록 하여 결정합니다. 이 접근 방식은 자유 형식 생성 방식에 비해 macro-F1 점수를 0.249, G-mean 점수를 0.30 향상시켰습니다.

두 번째 구성 요소는 레이블 데이터가 제한적이었기 때문에 도구 호출 비디오 에이전트를 사용하여 추가적인 감독을 생성했습니다. 이 에이전트는 각 클립을 검사하고 개입 타임스탬프를 할당합니다. 주목할 점은 내레이션만 사용하는 대안이 데이터 양은 네 배, 비용은 열 배로 증가했지만, 관련 없는 실체로부터의 감독보다 성능이 떨어졌다는 것입니다. 이는 이 작업에서 주석의 양보다 시각적 접지(visual grounding)가 더 중요함을 시사합니다.

거대 언어 모델(LLM) 및 기타 AI 시스템 연구자들과 개발자들은 관련 평가, 벤치마크 데이터셋, 코드, 그리고 보고된 점수에 대한 설정 배경을 파악하는 데 어려움을 겪고 있습니다. 이에 따라 본 시스템은 LLM 평가, 에이전트 및 도구 사용 벤치마크, 코딩, 추론, 안전성, 도메인별 평가를 포괄하는 AI 벤치마크를 위한 살아있는 데이터베이스이자 검색 엔진인 벤치마크 레이더(Benchmark Radar)를 소개합니다.

벤치마크 레이더는 벤치마크 논문, 저장소, 데이터셋, 릴리스를 매일 발견하는 기능과 검색 가능한 벤치마크 카탈로그, 모델 카드 및 기술 보고서에 언급된 내용, 점수 이력 등을 결합하여 정보를 제공합니다. 이 시스템은 출처의 정체성과 인용을 유지하여 사용자가 후보 벤치마크와 그 평가 증거를 검토할 수 있도록 합니다.

이 데이터는 37개의 출처에서 매일 발견되며, 13개의 직접 연결자와 24개의 자체 연구 및 엔지니어링 피드를 통해 수집됩니다. 카탈로그에는 4개의 벤치마크 카탈로그에서 추출된 1,283개의 출처 기록과 790개 기록에 대한 12,916개의 수치 관찰 기록이 포함되어 있습니다.

사용자는 이 시스템을 통해 벤치마크 포화도, 채택 추세, 점수 비교의 한계 등을 검토할 수 있으며, 새로운 평가를 설계할 때 카탈로그를 쿼리하고 벤치마크 증거를 검사하는 방법을 보여주는 실습 예제를 제공합니다. 또한 웹 대시보드, 파레토 전선(Pareto frontier) 보기, 포화도 및 추세 보기, 일일 피드, 다운로드 가능한 증거, 오프라인 쿼리를 위한 명령줄 인터페이스(CLI)를 제공하여 재현 가능한 분석을 가능하게 합니다.

거대 언어 모델(LLM) 에이전트가 이전 작업 경험에서 추출된 재사용 가능한 기술을 활용할 수 있지만, 기존의 기술 최적화 방법들은 비용이 많이 드는 실행 기반 평가와 방대한 작업 데이터에 의존하는 한계가 있었습니다. 이에 연구진은 COBRA-Skills라는 효율적인 프레임워크를 제안하며, 기술 최적화를 동적으로 진화하는 후보 공간에 대한 예산 기반 순차 최적화로 공식화합니다.

COBRA-Skills는 문맥 기반 밴딧 가이드 우선순위 지정과 증거 기반 기술 진화를 결합하여, 실행 피드백을 통해 기술 집합을 지속적으로 개선하면서 유망하거나 유익한 후보에만 평가를 선택적으로 할당합니다. 이 방법은 여섯 가지 이질적인 에이전트 벤치마크와 세 가지 타겟 모델에 걸쳐 비교했을 때 가장 강력한 평균 성능을 일관되게 달성했습니다.

또한, COBRA-Skills는 SkillOpt 대비 최적화 비용을 55~58% 절감하며, 각 벤치마크당 단 50개의 고유한 최적화 예제만을 사용합니다. 추가 분석 결과, COBRA-Skills는 에이전트 하네스(agent harness)의 변화에 대해 견고함을 유지하며, 타겟 모델 자체를 기술 생성 및 개선에 활용할 때 효과적으로 작동한다는 점이 밝혀졌습니다.

신경 기호 시스템은 추론의 정확성을 보장하기 위해 수학적 솔버에 의존하지만, 솔버는 형식적인 번역이 지정된 형식화에 대한 엄격한 참조 동등성을 유지하는지 여부를 근본적으로 알지 못합니다. 연구진은 이러한 취약점을 판정 보존 비신실성(Verdict-Preserving-Unfaithfulness, VPU)으로 공식화했는데, 이는 잘못된 인코딩이 성공적으로 실행되고 예상된 판정을 일치시키는 실패 모드를 의미합니다.

이러한 문제를 해결하기 위해 연구진은 생성적 검증(Generative Verification, GenV)을 도입했습니다. GenV는 오프라인 Z3 동등성 오라클을 언어 모델의 고유 어휘 공간을 재활용하여 참조가 없는 연속적인 참조 동등성 점수로 추출하는 방식으로 압축합니다. 메커니즘 분석 결과, 의사 결정 투영 로짓 렌즈와 희소 오토인코더를 통해 얻은 이 생성적 판독값은 명시적인 지역화 훈련 없이도 정확한 공간 오류 좌표를 추출해냅니다.

실증적으로, 오라클 기반 검증기인 GenV+HN은 참조 동등성 검증에서 0.961 AUROC를 달성했으며, 보지 못한 번역가와 상이한 형식 스타일 전반에 걸쳐 제로샷 일반화를 보였습니다. 또한 이 방법은 에이전트의 테스트 시간 컴퓨팅 할당에서 11.3%의 다운스트림 정확도 향상을 제공하여 실제 시스템 적용 가능성을 입증했습니다.

복잡한 실제 조작 작업은 마르코프(Markovian) 형식보다는 장기 기억을 필요로 하는 비마르코프(non-Markovian) 특성을 가지므로, 기존의 메모리 메커니즘은 실행 효율성과 세밀한 시각 증거 사이의 상충 관계에 직면합니다. 이에 본 논문은 메모리 기반 세계 행동 모델링을 메모리 기반 계획 및 계획 조건부 실행으로 분해하는 Memory-as-Plans 프레임워크인 MaP-WAM을 제안합니다.

MaP-WAM은 장기 멀티모달 에피소드 컨텍스트를 계획 시 증거로 활용하여 실행기(executor)를 전체 기록으로 반복적으로 조건화하는 대신 메모리를 압축된 계획으로 변환합니다. 메모리는 언어 지침과 희소한 시각 컨텍스트를 포함하는 완료된 세그먼트 기록으로 표현되며, 이는 다음 세그먼트 수준의 언어 계획과 시각적 지침으로 구성된 간결한 계획으로 변환됩니다.

실행 단계에서는 World-Action-Progress(WAP) 모델이 예측된 진행 상황을 계획-관찰 정렬을 통해 보정하며 적응형 세그먼트 전환과 폐쇄 루프 컨텍스트 업데이트를 수행합니다. 이 접근 방식은 실행기 컨텍스트 길이를 고정시키면서도 구조적 주의(structured attention)를 통해 계획 및 실행 모두에서 키-값 캐싱을 가능하게 하여 효율성을 높입니다.

MaP-WAM은 RMBench에서 83.3%의 성공률을 달성했으며 실제 로봇 작업에서 78.0%의 성공률을 보였고, 작업 기록이 증가함에도 실행기 추론 지연 시간을 거의 일정하게 유지합니다.

온폴리 정책 자기 증류(OPSD)는 모델이 정답 솔루션과 같은 특권 정보를 활용하여 자체적으로 교사 역할을 수행하게 함으로써 대규모 언어 모델(LLM)을 개선하는 인기 있는 패러다임으로 부상했습니다. 그러나 최근 연구 결과에 따르면 OPSD는 복잡한 추론 작업에서 LLM의 성능을 심각하게 저하시킬 수 있습니다. 이는 학생 모델이 특권 정보에 조건화된 인위적으로 자신감 있는 추론 경로를 모방하도록 강요함으로써 불확실성의 표현을 억제하고 어려운 문제를 해결하는 데 필요한 탐색적, 자기 수정적 행동을 처벌하기 때문입니다.

이 문제를 해결하기 위해 연구진은 부정적 자기 증류(NSD)라는 새로운 프레임워크를 제안했습니다. NSD는 특권 솔루션을 모방하는 대신 잘못된 추론에서 벗어남으로써 LLM을 최적화합니다. NSD는 정답이나 외부 감독에 의존하지 않고 모델 자체를 사용하여 질문별 부정 조건을 생성함으로써 학생의 분포를 이 부정적인 교사로부터 멀어지게 합니다.

하지만 이 과정에서 잘못된 추론 토큰이 기본적인 언어 토큰과 혼재되어 있어, 두 가지 모두를 무분별하게 처벌하면 모델의 기본적인 언어 능력이 치명적으로 저하될 수 있다는 문제가 발생합니다. 이를 해결하기 위해 연구진은 동적 게이팅 메커니즘을 설계하여 추론에 중요한 토큰을 자동으로 식별하고 분리합니다. 이 메커니즘은 경사도 업데이트가 오직 행동적 결함만을 목표로 하도록 보장하면서 모델의 언어적 선호도를 보존합니다.

실증 결과에 따르면 NSD는 OPSD 및 다른 레이블 없는 자기 부트스트래핑 강화 학습(RL) 기준선보다 일관되게 우수한 성능을 보였습니다.

반복적인 참조 조건 기반 이미지 편집은 격자 모양 및 입자 같은 질감, 즉 디지털 리플(digital ripple)을 발생시킬 수 있습니다. 이에 저자들은 이미지 구조를 보호하면서 이러한 디지털 리플을 억제하는 진단 기반 복원 워크플로우인 Mi-Ripple을 제시합니다. Mi-Ripple은 주기적인 격자 인공물과 내용에 얽힌 입자 질감을 분리한 다음, 선택적 스펙트럼 노칭, 구조 인식 평활화, 그리고 정리된 참조 재생을 결합하여 이를 해결합니다.

이러한 분리는 인공물이 스펙트럼적으로 분리될 때 왜곡이 적은 필터링을 가능하게 하며, 필터링이 합법적인 세부 정보를 지울 수 있을 때 시각적 재구성을 가능하게 합니다. 14회의 노치 전용 실행에서 전체 이미지 잔차 표준 편차는 CIELAB 명도 단위로 0.08에서 0.44 사이로 측정되었습니다.

또한, 쌍을 이루는 재생 예시에서 참조 정리 과정은 출력 잔해 밀도를 45% 감소시켰습니다. Mi-Ripple은 단순히 스펙트럼 점수를 최적화하는 것이 아니라 측정 가능한 인공물 감소를 눈에 띄게 더 깨끗한 생성 이미지와 연결한다는 점을 보여줍니다.

광학 흐름 추정 방법은 높은 정확도를 달성하기 위해 상관 볼륨, 특징 워핑, 반복 정제와 같은 작업별 귀납적 편향에 의존합니다. 이러한 편향은 효과적이지만 모델의 표현력을 제한하고 더 복잡한 파이프라인과 추가적인 계산 비용을 초래합니다. 이에 본 논문은 흐름 특화 구성 요소 없이 단일 피드포워드 인코더-디코더를 사용하는 계층적 트랜스포머인 FreeFlow를 제안합니다.

FreeFlow는 로컬 처리를 위한 윈도우 어텐션, 창 간 정보 교환을 위한 시프트-윈도우 어텐션, 그리고 축소된 해상도의 전역 어텐션을 결합하여 세 가지 어텐션 변형을 통합합니다. 이 아키텍처는 모델 용량에 따라 자연스럽게 확장되어 작은 모델부터 큰 모델까지 일관된 정확도 향상을 가능하게 합니다.

표준적인 귀납적 편향이 없었음에도 불구하고 FreeFlow는 Sintel, KITTI-2015, Spring과 같은 주요 벤치마크에서 최고 수준의 결과를 달성했습니다. 특히 1080p 추론 시 메모리 효율성을 유지하면서도 이들 벤치마크에서 Sintel(0.68/1.48 EPE), KITTI-2015(3.23 Fl-all), Spring(3.192 1px) 등의 성능을 입증했습니다.

다중 에이전트 강화 학습(MARL)은 자율 시스템과 공중전에서 복잡한 의사결정을 위한 핵심 패러다임으로 부상했지만, 정교한 전술적 협조를 달성하는 것은 여전히 어려운 과제입니다. 이러한 어려움은 전장 개체들 간의 복잡하고 시간 변화적인 상호작용을 포착하지 못하는 구조화된 관계 모델링의 부재와, 동적인 환경에서 모호한 임무 할당을 초래하는 전술적 역할의 명시적 모델링 부족에서 비롯됩니다.

이러한 문제들을 해결하기 위해 본 연구는 그래프 기반 관계 모델링과 동적 역할 할당을 통합한 새로운 MARL 프레임워크인 계층적 동적 역할 그래프 다중 에이전트 근접 정책 최적화(DRG-MAPPO)를 제안합니다. DRG-MAPPO는 전장 상호작용의 그래프 기반 표현을 구축하고 그래프 어텐션 메커니즘을 활용하여 아군, 적군, 위협 간의 중요한 관계 특징을 추출합니다.

이후 고수준 정책은 동적 역할 할당 메커니즘을 사용하여 전술적 책임(예: '리더' 및 '지원자')을 결정하며, 이 역할과 인코딩된 그래프 관계 특징을 기반으로 저수준 정책이 개별 기동 행동을 실행하여 전술 전략과 협력 실행을 공동으로 최적화합니다. 또한, 포커스 파이어와 같은 행동의 출현을 촉진하기 위해 목표 우선 보조 과제가 설계되었습니다.

실험 결과는 DRG-MAPPO가 협력 공중전을 위해 관계 모델링, 해석 가능성, 최적화 안정성을 효과적으로 균형 잡았음을 보여주며, 최고 수준의 승률 87%를 달성했습니다. 이는 복잡한 다중 에이전트 환경에서 협력적인 의사결정 시스템을 구축하는 데 있어 구조화된 관계 모델링이 얼마나 중요한지를 시사합니다.

음성 대규모 언어 모델의 추론 비용을 줄이기 위해 오디오 인코더 깊이를 줄이는 것은 가능하지만, 전체 블록을 제거하면 디코더가 소비하는 임베딩이 교란되어 삭제나 조기 시퀀스 종료 오류가 발생할 수 있습니다. 이에 연구진은 행동 탐색을 통해 레이어 조합을 선택하고 표현 정렬, 교차 스케일 증류, 스케줄링된 학생-정책 감독, LoRA 미세 조정을 통해 가지치기된 모델을 복원하는 점진적인 프레임워크인 X-AuT를 제안합니다.

X-AuT는 언어 모델 백본은 고정된 상태로 유지하면서 어텐션 LoRA 어댑터와 연결된 출력 임베딩이 증류 과정에서 적응하도록 설계되었습니다. 훈련은 Transcript-consistency 파이프라인에서 가장 일치도가 높은 계층을 사용하고 미세 조정을 위해 소스 재가중치를 적용합니다. 이 방법론을 중국어-영어 벤치마크 10개에 적용했을 때, Qwen3-ASR-0.6B 모델을 18개에서 16개의 오디오 인코더 레이어로 압축하여 전체 평균 오류율을 5.61%에서 5.27%로 감소시켰습니다.

특히 14개 레이어 모델은 오디오 타워 파라미터를 20.7% 줄이면서 5.75%의 오류율을 달성했으며, 이는 직접 가지치기(6.73%)보다 우수한 결과입니다. 또한, 1.7B 교사 모델은 5.55%의 평균 오류율을 보인 반면, 자체 증류는 8.45%의 오류율을 기록하여 증류 방식이 효율적임을 입증했습니다. 이 단일 실행 결과는 두 가지 실용적인 작동 지점을 제시하며, 정확도 효과가 벤치마크에 따라 달라진다는 점을 보여줍니다.

모든-포함 의료 영상 복원(MedIR) 분야에서 UniH3라는 새로운 프레임워크가 제시되어 모델의 일반화 성능을 향상시킵니다. 기존 방법들이 데이터 분포나 손상 유형 같은 상호 작업 이질성(heterogeneity)을 모델링하는 데 집중했지만, 의료 영상에 내재된 공통된 해부학적 구조와 같은 동질성(homogeneity)을 활용하지 못하는 한계가 있었습니다.

이를 해결하기 위해 UniH3는 계층적 동질성과 이질성을 통합하는 방법론을 제안하며, 학습 과정에서 동질성을 효과적으로 활용하는 데 중점을 둡니다. 구체적으로, 학습 중 고품질 이미지에서 내부 및 상호 작업 동질성 사전 정보를 추출하는 계층적 동질성 메모리(H2M) 모듈을 도입하여 입력에 맞춰 가장 관련성 높은 사전 정보를 동적으로 검색합니다.

추출된 동질성 정보는 동질성 기반 어텐션(HGA) 메커니즘을 통해 복원 파이프라인에 주입되며, 최적화 과정에서 상호 및 내부 작업 간의 충돌을 완화하는 계층적 이질성 밸런서(H2B)를 통해 균형 잡힌 다중 작업 학습을 촉진합니다.

MedIR-2D-500K 및 MedIR-3D-3K라는 대규모 벤치마크 실험 결과, UniH3는 모든-포함 및 단일 작업 의료 영상 복원 모두에서 최고 수준의 성능을 달성했습니다. 이 연구는 범용 의료 영상 복원 모델 개발을 위한 강력한 기준을 확립하고 발전시키는 데 기여할 것으로 기대됩니다.

버전 관리 시스템의 미래는 Git이 아닌 새로운 아키텍처에 달려 있습니다. 현재 소프트웨어 개발 환경은 에이전트 개발, 거대한 모노레포, 클라우드 환경의 확산으로 인해 버전 관리 시스템에 큰 부담을 받고 있으며, 이는 더 빠르고 안전한 다음 세대 VCS 도구의 필요성을 제기합니다. 기존의 Git은 2005년의 제약 하에 설계되었기 때문에 현재의 대규모 조직과 개발 환경 요구사항을 충족시키기 어렵다는 분석입니다.

이러한 문제를 해결하기 위해 ERSC는 Git 프로토콜과 실제 저장소(Storage) 레이어를 분리하는 새로운 접근 방식을 제시합니다. 기존 방식은 Git 저장소를 서버에 직접 저장하는 방식이었으나, 새로운 아키텍처는 Git 클라이언트가 여전히 Git 프로토콜을 사용하되, 실제 저장소는 Git이 아닌 커스텀 저장 엔진을 통해 관리합니다. 이는 저장소의 확장성과 유연성을 극대화하여 미래의 요구사항에 대비하는 기반을 마련합니다.

궁극적으로 이 접근 방식은 단일 저장 엔진 위에서 여러 프로토콜을 작동하게 함으로써 개발자들이 기존 Git을 사용하면서도 필요에 따라 다른 백엔드를 선택할 수 있게 합니다. 이는 개별 개발자가 자신의 속도에 맞춰 도구를 채택하고 미래의 버전 관리 시스템을 구축할 수 있는 길을 열어줍니다.

또한, 소프트웨어 포지(Forge)가 단일 패키지가 아닌 여러 빌딩 블록으로 구성되어야 한다는 관점도 중요합니다. 저장소는 기반이 되므로 가장 먼저 고려되어야 하며, 향후 VCS 분야에서 다양한 제품을 제공하더라도 사용자가 원하는 다른 소프트웨어 스택을 통합할 수 있도록 하는 것이 핵심입니다.

시각 문서 검색의 최첨단인 후기 상호작용 검색(Late-interaction retrieval)은 정확성을 위해 저장 공간을 많이 필요로 합니다. 기존 압축 방법들은 페이지당 약 1,000개의 벡터 중 일부 또는 국소 평균만을 보존하는데, 공격적인 저장 예산 하에서는 이러한 방법들이 급격히 성능이 저하되며 인코더를 재학습해야 하는 문제가 발생합니다. 연구 결과, 세 가지 인코더에 걸쳐 이러한 성능 저하를 조사한 결과, 벡터들이 정확히 단위 구(unit sphere) 위에 놓이며 본질적 차원(intrinsic dimension)이 5에서 6 사이의 다양체(manifold) 근처에 집중된다는 두 가지 일관된 속성이 발견되었습니다.

이러한 기하학적 특성은 두 가지 통찰을 제공합니다. 첫째, 표준 k-평균 중심(k-means centroids)이 구 내부에 위치하여 MaxSim 점수를 체계적으로 과소평가하게 만드는데, 이 중심을 구 표면으로 정규화하면 원시 중심 대비 최대 +0.093 nDCG@5의 보정이 가능합니다. 둘째, 페이지 다양체의 자유도가 적기 때문에 전체 벡터 집합을 단 몇 개의 벡터로부터 재생성할 수 있습니다.

이를 위해 연구진은 생성적 후기 상호작용 임베딩(Generative Late-Interaction Embeddings, GLIE)을 도입했습니다. GLIE는 정규화된 중심으로부터 학습된 $k \ll N$개의 벡터를 사용하여 경량 인덱스와 페이지 전체 임베딩 집합을 재생성하기 위한 기반으로 사용합니다. 4 벡터당 페이지를 ViDoRe v1에 적용했을 때 GLIE는 압축되지 않은 시스템의 nDCG@5 중 거의 80%를 유지하며, 기존의 최적 후처리 방법인 70%보다 우수한 성능을 보였습니다.

GLIE는 훈련 없는 단계에서도 인코더 미세 조정보다 우수한 성능을 보이며, 증거를 샘플링하는 대신 온디맨드로 재구성함으로써 저장 효율적인 검색을 위한 새로운 축을 열어줍니다. 최종 결과물은 디코더를 주요 설계 표면으로 활용하여 증거를 온디맨드로 재구성하는 방식입니다.

윈도우용 제미나이 앱이 출시되어 데스크톱에서 즉각적인 AI 지원을 받을 수 있게 되었습니다. 사용자는 이제 Alt + Space 단축키를 사용하여 현재 작업 흐름을 중단하지 않고 문서 초안 작성, 작업 관리, 이미지 생성 등을 할 수 있습니다.

이 새로운 데스크톱 앱은 사용자가 평소 사용하는 구글 앱의 정보를 활용하여 복잡한 작업을 처리하고 정보를 끌어오는 데 중점을 둡니다. 예를 들어, Gmail이나 Google Drive에서 정보를 바탕으로 프로젝트 요약을 작성하거나, Gemini Spark 1과 같은 개인 AI 에이전트를 통해 다단계 작업을 위임할 수 있습니다.

또한, 데스크톱 환경에서 Nano Banana를 이용해 맞춤 이미지를 생성하거나 Gemini Omni 1로 고품질 비디오를 지시하는 등 창의적인 작업을 직접 수행할 수 있습니다. 앱은 시스템에 부담을 주지 않고 원활하게 작동하도록 설계되었으며, 윈도우 10 및 11 환경에서 구동됩니다.

이 업데이트는 개발자와 사용자에게 데스크톱 워크플로우 내에서 AI를 통합하여 생산성을 극대화할 수 있는 새로운 방법을 제공합니다. 이제 사용자는 키보드 단축키를 통해 즉각적인 도움을 얻고 창작 활동을 데스크톱에서 직접 진행할 수 있습니다.

SenseNova-U1.5는 인코더와 VAE가 없는 구조에서 시각 콘텐츠를 이해하고 추론하며 생성하는 8B-MoT 네이티브 통합 멀티모달 모델을 발표했습니다. 이 모델은 공간적으로 일관된 패치 재구성을 통해 시각 인터페이스를 강화하고, 선별된 생성 및 편집 데이터, 개선된 작업 공식화, 구조적 프롬프트 향상, 그리고 최대 4K의 네이티브 해상도를 통해 훈련을 확장했습니다.

사전 훈련 이후에는 미학, 이중 언어 텍스트 렌더링, 인포그래픽 생성, 이미지 편집과 같은 전문 전문가들을 최적화하고 다중 전문가 온-폴리 정책 증류를 통해 그 능력을 통합했습니다. 광범위한 평가 결과, SenseNova-U1.5는 이미지 충실도, 텍스트 렌더링, 복잡한 구성, 다중 참조 편집, 인터리브 생성 능력을 크게 향상시켰습니다.

특히 모델은 지시 사항을 잘 따르고 피사체, 기하학, 수정되지 않은 영역을 보존하는 동시에 복잡하고 구조화된 시각 지침에 효과적으로 일반화하는 능력을 보였습니다. 이는 멀티모달 이해가 시각적 계획 및 생성으로 전이될 수 있음을 입증하며, 네이티브 통합 모델링이 종단 간 프레임워크 내에서 인식, 추론, 생성 시스템을 구축하는 유망한 경로임을 시사합니다.

연구팀은 지도 미세 조정, 강화 학습, 온-폴리 증류를 포함한 훈련 코드를 공개할 예정입니다.