읽을 가치가 있는 기사만, 짧고 또렷하게.

LLM의 지식 삭제(unlearning) 과정에서 인기 있는 사실이 희귀한 사실보다 더 깊이 기억되어 제거하기가 더 어렵다는 점이 밝혀졌습니다. 기존의 지식 삭제 방법들은 훈련 데이터의 빈도와 관계없이 균일한 기울기 압력을 적용하여 이 문제를 해결하지 못합니다.

이에 연구진은 AdaPop(Adaptive Popularity)이라는 새로운 방법을 제안했는데, 이는 외부 프록시(예: 위키데이터 사이트링크, LLM-as-Judge)로부터 파생된 사실별 인기 의존적 지수와 로컬 토큰 신뢰도를 결합합니다. 또한 이 방법은 에포크마다 보존 페널티를 조정하는 듀얼 어센트 컨트롤러를 통해 삭제와 보존의 균형을 자동화합니다.

이 방법은 세 가지 모델 패밀리와 두 가지 벤치마크에서 경쟁 방법들보다 약 5배 적은 내용을 삭제하며, 패러프레이즈된 질의에 대해서는 약 1.6배 적은 내용을 삭제하는 것으로 나타났습니다. 내부 측정 지표를 통해, AdaPop을 사용할 경우 삭제 집합의 은닉 상태는 이전 삭제 모델의 상태로부터 더 멀어지지만, 보존 집합의 표현은 가까운 상태를 유지하는 것을 확인할 수 있습니다.

대규모 언어 모델(LLM)을 위한 고품질 창작 데이터는 여전히 스토리 중심 데이터에 의해 지배되어 다양한 창작 형식의 구조적, 기능적 관습을 따르는 모델의 능력을 제한하고 있습니다. 이에 본 연구는 스토리 생성을 넘어선 창작 데이터 확장을 위해 속성 기반 장르 확장 프레임워크를 제안합니다. 이 프레임워크는 주제적 폭과 장르 형식 제어를 분리하여, 인간이 작성한 스토리 프롬프트를 다양한 창작 시드(seed)로 활용하고 수동으로 선별된 장르 속성을 사용하여 뚜렷한 구조, 스타일, 형식 관습을 강제합니다.

연구진은 이러한 방법을 결합하여 장르에 충실한 질의응답 쌍을 LLM에 프롬프트하고 이를 품질 필터링하여 사용합니다. 이를 통해 스토리, 랩, 가사, 각본, 게임 디자인, 캐릭터 디자인 등 13가지 창작 형식을 포함하는 5만 개의 예시로 구성된 멀티 장르 컬렉션(Multi-Genre Collection)을 구축했습니다.

이 데이터셋을 적용한 실험 결과, 이 데이터로 미세 조정된 모델들은 기본 모델이나 작문 특화 기준선뿐만 아니라 기존 작문 코퍼스로 훈련된 모델보다도 일관되게 우수한 성능을 보였습니다. 이는 강력한 창작 능력의 핵심 동인이 스토리 중심의 확장보다는 통제된 장르 확장이 핵심임을 시사합니다.

오픈 웨이트 언어 모델들은 미세 조정, 양자화, 가지치기, 병합 과정을 거치지만, 그 출처(provenance)는 종종 문서화되지 않습니다. 본 연구는 데이터 없이 모델 가중치만으로 두 체크포인트가 공통 조상을 공유하는지 확인하는 화이트박스 계보 검증 방법을 탐구합니다.

잔차 훈련(residual training)은 분기 제품에서 공유된 정체성 정렬 구성요소를 생성하기 때문에 이 구조만으로는 계보를 확립할 수 없습니다. 연구진은 이 요소를 제거하고 잔차 블록 전반에 걸쳐 체크포인트별 구조를 비교하여 독립적인 체크포인트에 대해 보정된 대칭 계보 점수를 도출했습니다.

이 점수는 잔차 훈련을 통해 얻은 결과와 비교하여, 미세 조정되거나 LoRA 병합, 가지치기, 양자화된 후손 모델들을 독립적이거나 증류된 모델과 구별하는 데 성공했으며 AUROC 값이 1.0을 기록했습니다. 또한 기능 보존 체크포인트 세탁 실험에서도 이 점수는 변하지 않았으며, GPT-2에 대한 가장 강력한 기준선보다 76배 빠른 속도로 실행되었습니다.

이 결과는 가중치 계보와 행동적 유사성을 구별하는 수동적이고 데이터 없는 출처 신호를 제공하며, 여섯 가지 언어 모델 패밀리 이상에서 투영 쌍(projection-pairing) 신호가 나타남을 보여줍니다. 이는 호환 가능한 오픈 웨이트 언어 모델 체크포인트에 대한 확실한 출처 신호를 확립하는 데 기여합니다.

에이전트의 스킬은 추론 시점에 구조화된 지식 패키지를 통해 LLM 에이전트를 향상시키는 실용적이고 효과적인 접근 방식으로 부상했습니다. 하지만 기존 평가들은 스킬이 전체 작업 성공률을 얼마나 개선했는지에만 측정하여, 스킬이 언제 도움이 되고, 왜 작동하며, 어디에서 실패하는지에 대한 근본적인 질문은 충분히 탐구하지 못했습니다. 연구진은 다양한 벤치마크와 에이전트, LLM을 대상으로 통제된 실험을 수행하여 스킬의 표현 방식, 결과 주석, 검색 난이도, 프레임워크 간 견고성 등의 영향을 분리했습니다.

이러한 질문에 답하기 위해 연구진은 통제된 정량적 실험과 쌍으로 분석된 궤적 분석을 결합하는 대조 연구를 설계했습니다. 실험 기록 8,135건과 240개의 개방 코딩 기록에서 얻은 관찰을 통합하여 세 가지 고수준 범주와 열두 가지 스킬 사용 모드로 분류했습니다. 분석 결과, 스킬은 노이즈가 있는 궤적이 실행을 안정화하는 절차적 앵커가 될 때 작동합니다. 스킬은 작업 성공률을 개선하며 워크플로우 메모리보다 6.06%p 더 나은 성능을 보였습니다.

스킬의 작동 메커니즘을 살펴보면, 절차적 앵커링은 스킬 사례의 65.7%를 설명하는 반면, 명시적인 지식 주입은 4.5%에 불과했습니다. 이는 스킬이 누락된 사실을 주입하기보다는 행동을 안정화시킨다는 것을 보여줍니다. 또한 검색(Retrieval)은 별도의 병목 현상으로 작용하는데, 검색 풀이 5에서 100으로 증가함에 따라 실제 사용 정밀도는 29.6%에서 3.3%로 급격히 떨어집니다. 혼동을 일으키는 방해 요소는 오프라인 식별을 방해하지만 다운스트림 성공률은 안정적으로 유지됩니다.

결론적으로 스킬은 취약한 가정, 비호환적인 컨텍스트, 또는 불충분한 적응성 하에서 실패할 수 있습니다. 이러한 발견은 단순한 성공률을 넘어 평가를 유도하며 신뢰할 수 있는 자가 진화 에이전트를 안내하는 데 기여합니다.

AI 공동 과학자들이 가설 생성, 관련 연구 검색, 실험 설계, 코드 실행, 논문 초안 작성 등을 수행하면서 연구 방식에 변화를 가져오고 있습니다. 하지만 현재의 최첨단 시스템들은 연구자 개개인을 고려하지 않는 연구자 불가지론적(researcher-agnostic) 상태로 남아 있습니다. 즉, 연구 목표에 따라 참신성, 타당성 또는 심사위원 점수를 최적화할 뿐, 최종 결과물을 사용할 개별 과학자를 무시합니다.

이는 연구에서 참신하거나 가치 있거나 실행 가능하다고 간주되는 것이 연구자의 이전 작업, 방법론적 역량, 그리고 그들이 속한 협력자 및 커뮤니티에 따라 달라진다는 근본적인 사실을 간과하는 것입니다. 본 연구는 연구 과정의 모든 단계를 개별 연구자의 표현에 기반하여 조건화하는 개인화된 자동 연구(personalized auto-research) 문제를 제안합니다. 개인화는 단순한 편의 기능이 아니라 AI 시스템이 진정한 공동 과학자가 되도록 하는 근본적인 속성임을 주장합니다.

이 문제를 해결하기 위해 연구자 맥락을 검색, 가설 탐색, 실험, 작성, 검토의 모든 단계에 걸쳐 연결하는 일반적이고 유연한 프레임워크를 제안합니다. 이 프레임워크는 (i) 그래프 기반 연구자 표현, (ii) 전체 연구 파이프라인에 걸친 개인화, (iii) 개별에 기반한 평가라는 세 가지 기본 구성 요소로 이루어져 있습니다. 특히, 서로 다른 연구자들이 동일한 목표를 제시했을 때 본질적으로 동일한 연구를 받게 되어 새로운 아이디어가 발생하는 암묵적인 지식을 지우는 일종의 일률적인 실패 모드를 강조합니다.

AI 에이전트가 초기 가설부터 최종 논문 작성까지 전체 연구 과정을 수행하는 패러다임인 오토리서치(AutoResearch)에 대한 평가가 필요하다는 연구가 발표되었습니다. 기존 평가들은 에이전트의 성능만을 측정할 뿐 작동 방식이나 실패 지점에 대해서는 충분한 정보를 제공하지 못했습니다.

이러한 격차를 해소하기 위해 연구진은 7가지 과학 도메인과 연구 라이프사이클 전반을 포괄하는 100개의 과제를 포함하는 오토리서치 평가 프레임워크인 AutoResearchEval을 도입했습니다. 이 평가를 통해 8개의 하네스 모델 조합에서 800개의 오토리서치 에이전트 궤적을 프로세스 수준으로 주석 처리하고, 실패 패턴을 45가지로 분류한 오토리서치 실패 분류 체계(ARFT)를 제시했습니다.

분석 결과, 모든 모델 조합에서 나타난 실패 패턴은 에이전트가 결과물을 검토하고, 실패 시 수정하며, 경로의 타당성을 질문하는 메타인지 루프(metacognitive loop)가 부족하다는 단일한 한계로 수렴되었습니다. 이는 특정 스캐폴드(scaffold)의 문제가 아니라 모델 자체의 한계에서 발생하는 것으로 나타났습니다.

연구진은 이 결과를 바탕으로 에이전트의 자율 과학 발견 연구를 위한 지속적인 연구 개발을 촉진하고자 AutoResearchEval과 ARFT를 공개했습니다. 이는 에이전트 시스템의 실패 원인을 더 깊이 이해하고 향후 자율 연구 시스템을 발전시키는 데 기여할 것입니다.

자기 진화 에이전트는 상호작용 경험을 통해 미래 행동을 개선하지만, 기존 평가들은 고정된 실행 조건 하에서 최적화되어 조건 변화 후 복구 능력을 테스트하지 못하는 한계를 가지고 있습니다. 이러한 격차를 해소하기 위해 연구진은 시뮬레이션 기반의 벤치마크인 PACE-Bench(물리 적응을 통한 코드 진화)를 소개합니다. 이 벤치마크는 여섯 가지 물리 도메인에 걸쳐 144개의 소스-대상 적응 쌍을 포함하며, 동일한 목표와 인터페이스를 가진 소스 환경과 변이된 대상 환경을 연결합니다.

PACE-Bench의 과제는 소스 환경에서 성공한 코드를 진단 샌드박스 피드백을 사용하여 제한된 시도 예산 내에서 작동하는 대상 설계로 반복적으로 적응시키는 것입니다. 연구진은 네 가지 패러다임에서 나온 열 가지 자기 진화 방법을 비교 분석했습니다. 전체 벤치마크는 아직 포화 상태가 아니며, Reflexion과 Qwen3-14B 조합은 전체 벤치마크 쌍 중 35.9%만 성공했습니다. 또한 GPT-5.5는 전체 예산 하에서 정적(Statics) 하위 집합의 66.7%를 해결하는 것으로 나타났습니다.

이러한 결과는 시뮬레이션 기반 반성이 검증되지 않은 자기 수정보다 더 신뢰할 수 있음을 보여줍니다. 또한 메모리 앵커는 에이전트를 초기 설계에 고정시키고 광범위한 트리 검색은 수렴하지 않으면서 탐색을 수행한다는 점을 확인했습니다. 성능 상한을 높이는 것은 정확한 물리적 변화를 드러내는 것이 아니라 메커니즘 재설계가 핵심 병목임을 시사합니다. 관련 데이터와 코드는 https://github.com/thunlp/PACE-Bench에서 확인할 수 있습니다.

거대 언어 모델(LLM) 에이전트가 단순한 대화형 비서에서 추론, 도구 사용, 코드 생성 등을 통해 장기 목표를 수행하는 자율 시스템으로 발전함에 따라 새로운 도전 과제가 발생하고 있습니다. 에이전트가 지속적인 환경과 다단계 워크플로우에서 작동하면서 신뢰할 수 있는 실행, 일관된 결과, 안전한 동시성, 그리고 영구적인 상태 관리가 필요해집니다.

이에 연구진은 에이전트 실행을 위해 고전적인 ACID 속성을 재해석한 에이전트 트랜잭션 개념과 ACID 준수 에이전트 시스템 프레임워크를 제안했습니다. 이 프레임워크는 모델 불확실성과 동적인 실행 환경 속에서도 신뢰할 수 있는 에이전트 시스템을 구축하기 위한 원칙적인 기반을 제공하며, 세 가지 의미론적 보장, 즉 의미론적 원자성(Semantic Atomicity), 의미론적 일관성(Semantic Consistency), 의미론적 격리(Semantic Isolation), 의미론적 영속성(Semantic Durability)을 통해 이를 달성합니다.

이러한 프레임워크를 구현하기 위해 연구진은 트랜잭션 탐색-실행-검증 주기, 트랜잭션 스킬 허브, 신뢰 분산 기반 검증, 의미론적 의존성 인식 격리, 트랜잭션 인식 의미론적 상태 관리를 통해 ACID 준수 데이터 에이전트를 개발했습니다. 광범위한 벤치마크 실험 결과, 이 시스템은 Claude Code를 포함한 최첨단 에이전트 대비 10.6%의 성능 향상을 달성했습니다.

이 연구는 신뢰할 수 있고 확장 가능하며 스스로 진화하는 AI 에이전트 시스템을 구축하기 위해 트랜잭션 원칙과 시스템 아키텍처를 확장하는 광범위한 연구 의제를 열어줍니다.

부분 인식 3D 객체 생성은 모델링, 편집, 관절 조작 등 그래픽 애플리케이션에 필수적이지만, 기존 방법들은 복잡한 객체에 잘 확장되지 않는 한계를 가지고 있습니다. 파트 수가 증가할수록 상세한 지오메트리를 생성하는 것은 토큰 길이와 메모리 측면에서 매우 비싸집니다. 이에 MegaParts는 구조화된 시퀀스 모델링과 토큰 효율적인 벡터 양자화 형태 토크나이저를 결합하여 이러한 문제를 해결하는 확장 가능한 자기회귀 3D 생성 프레임워크를 소개합니다.

이 프레임워크는 기하학적 복잡도에 따라 적응형 길이 토큰화를 가능하게 하며, 고충실도 재구성을 유지하면서 토큰 사용량을 최소화하여 파트 수준의 지오메트리에 대한 이산 잠재 표현을 학습합니다. 또한 이 압축된 표현 위에 대규모 언어 모델을 훈련시켜 객체 경계 상자, 파트 경계 상자, 파트 형태 토큰을 통합된 구조적 시퀀스 내에서 생성할 수 있습니다.

효율적인 장문맥 훈련 전략과 결합하여 이 방법은 최대 300개의 파트와 256k 토큰 길이의 시퀀스에 대해 확장 가능하며, 구성적 구조를 보존하면서 세밀한 파트 수준 제어를 가능하게 합니다. MegaParts는 기존의 자기회귀 및 확산 모델보다 높은 메시 품질을 달성하여 압축된 이산 파트 토큰이 확장성과 생성된 지오메트리의 충실도를 모두 향상시킴을 보여줍니다.

이러한 결과는 대규모 파트 인식 3D 생성에 있어 LLM 기반의 토큰 효율적인 자기회귀 모델링이 확산 모델에 대한 강력한 대안이 될 수 있음을 시사합니다.

30억 개의 파라미터를 가진 에이전트 모델 Nanbeige4.2-3B는 레이어 재사용을 통해 추가 파라미터 없이 깊이를 더하는 Looped Transformer(LT) 구조를 기반으로 구축되었습니다. 이 모델은 Apple Silicon(MPS) 환경에서 평가되었으나, 초기 릴리스 체크포인트가 Hugging Face transformers를 통해 바로 실행되지 않는 다섯 가지 독립적인 버그가 발견되었습니다. 이 버그들에는 RoPE 버퍼가 조용히 0으로 설정되거나 제거된 transformers 캐시 API 호출 등이 포함되어 있습니다.

또한, LT의 레이어 재사용 전략은 피처 효율성을 달성하는 대신 최대 어텐션 메모리를 두 배로 늘리는 결과를 초래했습니다. 이를 해결하기 위해 연구진은 청크-프리필 전략을 도입하여 32~GiB 공유 메모리에서 허용 가능한 컨텍스트 폭을 2.7배 확장하는 메모리 용량 페널티를 완화했습니다. 그러나 이러한 메모리 최적화만으로는 에이전트 작업에 필요한 성능을 달성할 수 없었기 때문에 패치가 필요했습니다.

최종적으로 시스템 프롬프트 및 MPS 네이티브 메모리 버그를 해결함으로써 모델을 안정적으로 사용할 수 있게 되었으며, 표준 MCP 및 툴 호출 벤치마크에서 신뢰할 수 있는 평가가 가능해졌습니다. 디버깅된 모델은 MCPMark의 일부에서 실제 에이전트 작업의 최대 30%를 완료했으며, BFCL에서는 단일 툴 호출에서는 거의 완벽했지만 다중 툴 테스트에서는 실패했습니다.

연구진은 수정된 체크포인트, 시스템 프롬프트 최적화 도구, 평가 도구를 GitHub에서 공개했습니다.

시각 온-폴리 디스틸레션은 더 크거나 강력한 교사 모델 또는 참조 답변과 같은 특권적 감독을 통해 정보 있는 교사-학생 비대칭에 크게 의존합니다. 이는 특권적인 정보가 없을 때 정보 있는 비대칭이 어디에서 발생할 수 있는지에 대한 근본적인 질문을 제기합니다. 연구진은 이 비대칭의 발생 위치를 반전시켜, 교사에게 특권 정보를 추가하는 대신 학생으로부터 정보를 빼는 방식으로 접근했습니다. 이 접근 방식은 정답 레이블이나 보상 없이도 학생에게 이용 불가능한 정보를 가진 교사와 동일한 효과적인 학습 신호를 생성합니다.

이 원리를 바탕으로 연구진은 비대칭적 증강된 시각을 통해 온-폴리 학습 신호를 구성하는 간단하면서도 효과적인 방법인 자기 지도 시각 온-폴리 디스틸레션(Self-Supervised Visual On-Policy Distillation, S²VOPD)을 도입했습니다. S²VOPD는 비대칭적 증강된 시각으로부터 온-폴리 학습 신호를 구축합니다. 연구는 시각 증강의 광범위한 설계 공간을 탐색하여 비대칭이 성능에 미치는 영향, 증강의 강도가 성능에 미치는 영향, 그리고 증강이 태스크 일관성을 유지해야 한다는 제약 조건에 대해 밝혀냈습니다.

실험 결과, 네 가지 증강 가족 모두 성능을 향상시키는 반면 대칭적인 자기 디스틸레션은 성능을 저하시켰으며, 성능은 중간 수준의 강도에서 최고치를 보였습니다. 또한 질문 관련 증거를 완전히 제거하는 증강은 정보가 부족한 불일치를 유발할 수 있으므로 태스크 일관성을 유지하는 것이 중요합니다. 이러한 방법으로 여섯 가지 세밀한 인식 벤치마크에서 S²VOPD는 Qwen3.5-4B 모델을 70.7%에서 77.4%로 향상시켰으며, 모든 오픈 소스 모델을 비교했을 때 우위를 점했고 Qwen3-VL 235B 모델에서는 GPT-5.4를 능가했습니다.

심지어 학습 데이터를 동일하게 유지했을 때, S²VOPD는 특권 정보를 사용한 방법들이 달성한 성능 향상의 96%를 회복했습니다. 이는 특권적 정보 없이도 효과적인 비대칭을 활용하여 강력한 성능을 달성할 수 있음을 보여줍니다.

시계열 기반 파운데이션 모델(TSFM)을 사용하여 1,000개 미국 주식의 시간당 수익률을 예측할 때 예측값이 거의 평탄해지고 교차 단면 상관관계 측면에서 주식 순위가 나빠지는 현상이 관찰되었는데, 이를 예측 붕괴(forecast collapse)라고 부릅니다. 이러한 현상은 거래량 예측에서는 사라지지만, 목표 예측 가능성과 밀접하게 관련되어 있으며, 예측 붕괴의 원인은 예측 가능성이 제한되어 보정된 점 예측값의 진폭이 제한되고, 개별 시계열 목표(per-series objectives)가 교차 시계열 구조를 식별하지 못하기 때문입니다.

이러한 연구는 보정(calibration)과 순위 지정(ranking) 사이의 상충 관계를 드러냅니다. 제곱 오차를 최적화하면 예측값이 평탄해지지만, 교차 단면 상관관계를 직접 최적화하면 순위는 개선되지만 예측 진폭이 한 자릿수 이상으로 부풀어질 수 있습니다. 이러한 상충 관계를 해결하기 위해 보정 및 순위 지정을 균형 있게 맞추는 단순한 목표인 CalibRank를 도입했습니다.

Finance1K 데이터에서 CalibRank를 적용한 결과, 예측 진폭을 목표치에 가깝게 유지하면서 교차 단면 상관관계를 거의 세 배로 늘렸으며, 테스트된 모든 모델에서 상관관계를 개선했습니다. 이 연구는 기존의 시계열 평가에서 개별 시계열 지표가 다운스트림 결정에 필요한 교차 시계열 구조의 실패를 숨길 수 있는 시야가 제한적이라는 점을 보여줍니다.

거대 언어 모델이 확장됨에 따라 적절한 토큰당 파라미터 비율(TPP)을 유지하기 위해 훈련 토큰 예산도 증가해야 합니다. 그러나 고품질 도메인 데이터는 일반 웹 데이터보다 확장하기가 훨씬 어렵습니다. 모델 크기와 훈련 토큰 예산이 증가함에 따라 훈련 혼합물 내에서의 도메인 데이터의 비율은 감소하는데, 사용 가능한 고품질 데이터를 반복하는 것은 이러한 희석을 상쇄하는 효과적인 방법이지만 과도한 반복은 과적합을 유발할 수 있습니다.

본 연구는 모델 크기가 훈련 토큰 예산에 비례하여 증가하는 실제 LLM 확장 환경에서 이러한 상충 관계를 분석했습니다. 연구 결과, 고정된 도메인에 대해 고정된 TPP 조건에서 최적의 반복 횟수는 모델 크기에 따라 약간 증가하는 것으로 나타났습니다.

또한, 다양한 도메인에 걸쳐 최적의 반복 횟수는 해당 도메인의 최종 검증 손실과 강한 음의 상관관계를 보였습니다. 즉, 손실이 낮은 도메인일수록 더 많은 반복을 통해 이점을 얻을 수 있습니다. 반면, 고유한 도메인 데이터의 양은 최적의 반복 횟수와는 약하게 관련되어 있었습니다.

이러한 발견은 동일한 TPP를 가진 더 작은 프록시 모델에서 조정된 반복 횟수가 더 큰 모델에 대한 실용적인 추정치를 제공할 수 있음을 시사합니다. 따라서 연구자들은 더 큰 모델에 대해 도메인 데이터 반복 횟수를 추정할 때 작은 모델을 기준으로 삼을 수 있습니다.

이미지 편집 모델의 발전 속도에 따라 이러한 모델 능력을 실제 환경에 직접 적용할 필요성이 커지고 있습니다. 하지만 기존 벤치마크들은 단순한 단일 이미지 작업에 국한되어 있어 다중 이미지 편집, 복잡한 추론 기반 지시, 실제 배포 환경에서의 성능을 제대로 평가하지 못하는 한계를 가지고 있습니다.

이러한 한계를 극복하기 위해 연구진은 실제 환경을 반영하는 포괄적이고 실용적이며 지능적인 이미지 편집 벤치마크인 CPI-Bench를 제안했습니다. CPI-Bench는 세 가지 핵심 하위 집합으로 구성되어 있으며, 다양한 편집 작업을 포괄하는 CPI-General-Bench, 고빈도 실제 사용자 애플리케이션 시나리오에 초점을 맞춘 CPI-Practical-Bench, 그리고 고난도 추론 기반 편집 능력을 평가하는 CPI-Intelligent-Bench를 포함합니다.

CPI-Bench를 기반으로 주요 이미지 편집 모델들의 평가 결과를 분석한 결과, 모델 간의 성능 차이를 더욱 명확하게 구분할 수 있게 되었습니다. 이 벤치마크는 일반 편집 능력, 실제 배포 효율성, 그리고 고급 추론 기반 편집 능력의 격차를 종합적으로 측정하여 이미지 편집 모델 최적화에 귀중한 지침을 제공합니다.

특히 CPI-Bench의 순위 분석은 아레나 이미지 편집 리더보드와 가장 높은 일치를 보이며, 이는 인간 평가자의 선호도와 지각 판단을 충실히 반영하여 실제 사용자 경험을 측정하는 강력한 대리 지표가 됨을 의미합니다.

로봇 프로세스 평가를 위한 새로운 도구인 PRM-as-a-Judge 1.5가 발표되어 임베디드 모델 이해를 위한 세밀한 평가 기준을 제시합니다. 이 도구는 롤아웃 비디오를 밀도 높은 진행 곡선으로 변환하고 여러 세부 지표를 도출하여 이진 성공률이나 규칙 기반 프로세스 점수를 넘어선 평가를 가능하게 합니다.

PRM-as-a-Judge 1.5는 버전 1.0을 기반으로 실패 측면 진행 상황, 하락 후 회복(post-drawdown recovery), 성공 측면 실행 품질이라는 세 가지 새로운 지표를 도입하여 임베디드 모델의 실제 능력을 더 깊이 있게 파악할 수 있도록 돕습니다. 이를 통해 사용자는 벤치마크 비디오를 기반으로 임베디드 모델에 대한 포괄적인 평가와 핵심 발견을 얻을 수 있습니다.

또한, 프로세스 보상 모델(PRM)의 신뢰성을 평가하기 위한 RoboPulse++도 함께 소개되어 평가자들에게 더욱 정확한 테스트 플랫폼을 제공합니다. 개발자들을 위해 벤치마크, 지표 구현, 시각화 도구를 포함하는 사용자 친화적인 평가 스위트를 공개하여 재현 가능한 조작 프로세스 평가를 지원합니다.

궁극적으로 이 연구는 로봇 평가 방식을 재고하고 차세대 임베디드 지능의 기반으로 투명하고 절차적이며 재현 가능한 평가를 확립할 것을 커뮤니티에 촉구합니다.

최근 비디오 생성 모델이 전쟁, 재난 등 실제 위기 상황을 사실적으로 조작하여 허위 정보를 생성함으로써 심각한 오정보 위험을 초래하고 있습니다. 그러나 기존의 벤치마크들은 생성 조건에 따른 탐지기 및 생성기의 행동, 사람들이 생성된 비디오를 인식하는 방식, 그리고 소셜 확산 과정에서 탐지기의 신뢰성을 충분히 다루지 못하고 있습니다.

이러한 격차를 해소하기 위해 연구진은 실제 비디오를 앵커로 사용하는 AI 생성 비디오 탐지 벤치마크인 RA-Bench를 소개했습니다. RA-Bench는 17,886개의 비디오를 포함하며 10가지 사회 위험 범주에 걸친 1,830개의 실제 비디오 앵커와 4개의 오픈소스 및 5개의 클로즈소스 생성기에서 나온 16,056개의 생성 클립으로 구성되어 있습니다.

RA-Bench를 통해 평가를 진행한 결과, 탐지기들이 다양한 생성 조건이나 모델에 걸쳐 일관되게 일반화되지 않는다는 점이 밝혀졌습니다. 또한 생성 품질이나 샘플링 시드와 같은 생성 속성이 탐지기 가족에 다르게 영향을 미치지만, 소스 수준의 탐지 패턴은 시드에 관계없이 안정적으로 유지된다는 것을 확인했습니다.

나아가 소셜 확산 과정에서 인간의 진정성 판단과 탐지기의 신뢰성을 연구한 결과, 사람들이 오도되는 비디오는 현재 탐지기에게도 어렵고, 소셜 확산 자체가 탐지를 더욱 어렵게 만든다는 사실을 발견했습니다. 이러한 연구 결과는 현재의 방법들이 현실적인 AI 생성 비디오를 탐지하는 데 어려움을 겪고 있음을 보여주며, 진화하는 비디오 생성기에 강건한 탐지기의 필요성을 강조합니다.

Mobius-v0 아키텍처는 지식 벡터를 저장하는 전역 공유 메모리(FFN)와 조립적 추론을 반복적으로 달성하는 여러 추론기(Self-Attn)로 구성된 모델입니다. 추론기는 은닉 상태를 캐시 및 운반체로 사용하여 필요한 지식 벡터를 메모리에서 반복적으로 질의하고, 이 지식은 다시 추론 연산자에게 전달됩니다. 이러한 지식-추론 분리 아키텍처를 통해 Mobius는 지식 압축과 추론 효율성을 개선했습니다.

이 Mobius-v0 아키텍처를 기반으로 구축된 모델들의 성능은 주목할 만합니다. 처음부터 학습된 7B 모델은 기준 Transformer 모델과 유사한 다운스트림 점수를 달성하면서도 기준 모델의 학습 데이터의 62.6%만을 사용하여 학습되었습니다.

특히 Intern-S2-Mobius는 Qwen3.5-35B에서 지속적으로 사전 학습되어 성능을 유지하면서도 종단 간 추론 속도를 거의 4배 향상시킵니다. 이는 대규모 모델에서 지식과 추론을 분리하여 처리함으로써 효율성과 속도를 동시에 높이는 방법을 제시합니다.

시각적 관찰을 통한 공간 인식과 추론은 기하학적 구조 복원, 대응 관계 설정, 공간 관계 이해를 필요로 합니다. 기존 접근 방식들은 이러한 능력을 개별적으로 처리하는 태스크별 아키텍처나 외부 기하학 모듈을 사용했기 때문에 동일한 물리적 장면의 상보적인 표현 간의 지식 전달이 제한적이었습니다.

이에 연구진은 3차원 재구성, 밀집 대응 관계, 공간 추론을 지시 조건부 생성(instruction-conditioned generation) 작업으로 전환하는 통합 멀티모달 프레임워크인 SPARGen을 제안합니다. SPARGen은 구조적 및 언어적 출력을 토큰 시퀀스로 직렬화하는 동시에 이미지에 정렬된 형태로 밀집 기하학장(dense geometric fields)을 생성합니다.

이러한 과정을 통해 공간적 감독(spatial supervision)을 활용하여 네이티브 멀티모달 생성 모델 내에서 공유된 표현을 공동으로 형성할 수 있습니다. 실험 결과, SPARGen은 3차원 재구성, 대응 관계, 공간 추론에 대한 벤치마크 전반에서 단일 네이티브 멀티모달 생성 프레임워크 내에서 이질적인 공간 작업들을 경쟁력 있는 성능으로 달성했습니다.

구글은 동형 암호(Homomorphic Encryption)를 활용하여 개인 정보 보호와 AI의 실용성을 동시에 달성하는 방법을 개발하고 있습니다. 동형 암호는 데이터를 암호화된 상태 그대로 연산할 수 있게 하여 서버가 데이터의 실제 내용을 보지 않고도 계산을 수행하고 암호화된 결과를 반환할 수 있게 합니다. 이는 기존의 종단 간 암호(end-to-end encryption)가 데이터 유출 방지에는 효과적이지만 서비스 제공자가 데이터에 기반한 기능을 제공하기 어렵다는 한계를 극복합니다.

이러한 문제를 해결하기 위해 구글은 오픈 소스 컴파일러 도구인 HEIR(Homomorphic Encryption Intermediate Representation)을 개발하여 동형 암호를 실질적으로 적용할 수 있도록 지원합니다. HEIR은 사전 학습된 AI 모델이 암호화된 입력 데이터를 처리할 수 있도록 변환하는 기능을 제공하며, 비전문가도 암호화된 추론을 실제 애플리케이션에 통합할 수 있는 일 클릭 솔루션을 목표로 합니다.

HEIR은 하드웨어 가속기 개발사들과의 협력을 통해 성능 향상을 꾀하고 있으며, 이미 추천 시스템, 신용카드 사기 탐지, 네트워크 트래픽 이상 감지 등 다양한 분야에서 개인 정보 보호를 유지하면서 AI 기능을 구현하는 데 적용되었습니다. 구글은 앞으로 동형 암호를 개발, 실행, 보편화하여 소프트웨어 산업 전반에서 보안과 개인 정보 보호를 강화하는 것을 목표로 하고 있습니다.

글쓰기는 단순히 생각을 표현하는 것을 넘어 새로운 지식을 습득하는 강력한 방법입니다. 저자는 글을 쓰는 과정에서 자신이 알지 못했던 사실을 배우고, 자신의 주장을 방어하기 위해 충분한 조사를 하게 된다고 설명합니다. 예를 들어, 특정 주제에 대해 논쟁적인 입장을 취하고 이를 뒷받침하기 위해 연구하는 과정에서 지식의 깊이를 더할 수 있습니다.

효과적인 학습을 위해서는 글쓰기를 통해 스스로에게 도전적인 질문을 던지고 자신의 생각을 정리하는 것이 중요합니다. 글을 쓰는 과정에서 자신의 생각이 바뀌는 경험은 충분한 연구를 하고 있다는 좋은 신호이며, 이는 독자가 글쓴이의 사고 과정을 이해하는 데 도움을 줍니다. 특히 기술적인 주제를 다룰 때, 명확한 결론을 도출하고 서론보다 결론이 더 강력하게 표현되도록 구성하는 연습이 필요합니다.

또한, LLM과 같은 인공지능 모델은 기술적인 주제에 대해 실질적인 피드백을 제공할 수 있습니다. 이들은 때로는 기술적인 오해를 지적하거나, 일반적인 의견보다 더 정확한 정보를 제시하여 글쓴이가 놓친 부분을 보완하는 데 유용합니다. 글쓰기를 통해 명확하게 생각하고 연구하는 습관을 들이는 것은 인터넷에 게시하지 않더라도 개인의 사고력을 향상시키는 데 큰 도움이 됩니다.