읽을 가치가 있는 기사만, 짧고 또렷하게.

Ovis-Embedding은 텍스트, 이미지, 비디오, 오디오를 네이티브하게 통합한 최첨단 옴니모달 임베딩 패밀리로, 개별 모달리티 타워 대신 공유 멀티모달 백본을 사용하여 다양한 모달리티를 공통 표현 공간에 인코딩합니다. 이 연구는 모달리티 파편화를 극복하고 모든-모든 검색을 위한 범용 임베딩 모델을 발전시키는 것을 목표로 합니다.

Ovis-Embedding은 세 가지 주요 발전을 통해 이 목표를 달성합니다. 첫째, 사전 학습된 Qwen-omni 모델을 임베딩 백본으로 채택하고 저랭크 초기화를 통한 대조 학습으로 적응시키는 네이티브 옴니모달 초기화를 수행합니다. 둘째, 텍스트, 이미지, 비디오, 오디오 및 상호 얽힌 멀티모달 데이터를 포함하는 광범위하고 고품질의 코퍼스를 구축하며, 데이터 효율성을 높이기 위해 균질 소스 샘플링을 도입하여 정보가 풍부한 배치와 내장 부정 샘플을 형성합니다.

또한, 임베딩별 훈련 및 추론 최적화를 위해 어려운 예제를 강조하는 포칼 손실(focal loss)과 보완 전문가로부터 미세한 유사성 구조를 전달하는 유사성 기반 임베딩 증류(Embedding Distillation)를 사용합니다. 추론 시에는 저랭크 특징 분해를 사용하여 유연한 차원과 최소한의 성능 손실로 압축된 임베딩을 얻을 수 있습니다.

실증 평가 결과, Ovis-Embedding 패밀리는 MMEB-v3, MMEB-v2, MVEB, MAEB, RTEB에서 최고 성능을 달성하며 텍스트, 이미지, 비디오, 오디오 모달리티 전반에서 효과를 입증했습니다. 이는 통합된 옴니모달 훈련이 범용 임베딩 모델을 발전시키는 잠재력을 보여줍니다.

정신 건강 문제의 증가와 기존 의료 시스템의 자원 부족, 높은 비용, 낙인 및 개인 정보 보호 문제로 인해 접근 가능하고 확장 가능한 지원에 대한 필요성이 커지고 있습니다. 이러한 배경 속에서 대규모 언어 모델(LLM)은 고급 자연어 이해 및 생성 능력을 통해 정신 건강 지원을 민주화할 강력한 잠재력을 가지고 있습니다.

하지만 이 분야에서 빠르게 확장되고 파편화되는 연구 결과는 일관된 진화 서사를 결여하고 있어 현재의 발전 상황과 미래 방향을 파악하기 어렵습니다. 이 설문조사는 LLM이 정신 건강에서 세 가지 뚜렷하고 점차 정교해지는 단계로 진화하고 있다는 중심 주제를 중심으로 문헌을 정리하고 분석합니다.

LLM의 진화 궤적은 평가를 위한 수동적인 정보 도구 및 패턴 인식기였던 1단계에서, 순간적인 상호작용을 위한 공감적인 대화 상대였던 2단계, 그리고 현재 상태 기반 인지 에이전트인 종단적이고 개인화된 동반자(Longitudinal, Personalized Companions)를 추구하는 3단계로 이어집니다. 연구는 이러한 발전 경로를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로파일, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크의 인프라를 체계적으로 검토합니다.

이러한 관점에서 볼 때, 본 연구는 책임감 있고 효과적이며 인간 중심적인 정신 건강 AI를 위한 미래 혁신의 명확한 로드맵을 제공합니다. 검토된 자료의 모음은 프로젝트 저장소에서 확인할 수 있습니다.

산업 배포를 위한 범용 에이전트를 구축하려면 여러 능력을 통합해야 하는데, 이 능력들은 일반적으로 훈련의 별도 단계에서 습득됩니다. 하지만 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대한 확립된 방법론이 부족하며, 기존 통합 패러다임 간의 상충 관계에 대한 이해가 미흡합니다. 이러한 격차를 해소하기 위해 본 논문은 ACL을 포괄적으로 연구, 분석, 평가하는 프레임워크인 ACLArena를 소개합니다.

연구진은 순차적 훈련 파이프라인을 구축하고 모델 수준 및 토큰 수준이라는 두 가지 관점에서 망각과 일반화 메커니즘을 심층 분석했습니다. 이를 바탕으로 다중 교사 온-폴리 정책 증류(multi-teacher on-policy distillation), 자체 증류 미세 조정(self-distilled fine-tuning), 모델 병합(model merging) 등의 방법을 체계적으로 비교하여 새로운 능력은 보존하면서 이전에 학습된 능력을 회복하는 능력을 평가했습니다.

또한, 연구진은 고품질 궤적에 대한 오프라인 재생과 강화 학습을 통해 전문화된 여러 LoRA 전문가로 구성된 라우팅 네트워크를 결합하는 새로운 ACL 레시피를 제안했습니다. 이 방법은 에이전트가 여러 도메인에 걸쳐 학습하는 능력을 실질적으로 향상시킵니다. 네 가지 추론 및 에이전트 작업에 대한 포괄적인 실험 결과는 분석의 가치와 접근 방식의 효과를 입증하며, 도메인 내 및 도메인 외 설정 모두에서 그 효과를 보여줍니다.

도구 호출(Tool-Calling) LLM 에이전트가 기업 애플리케이션에 점점 더 많이 사용되고 있지만, 효과적인 평가와 최적화를 위해서는 고품질의 다양한 작업 데이터셋이 필요합니다. 기존의 합성 작업 생성 방법들은 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 작업을 생성하여 실제 사용의 다양성을 반영하지 못하는 한계가 있습니다.

이에 연구진은 에이전트 사양에서 준수 규칙을 추출하여 이를 위반하도록 설계된 데이터베이스 기반의 엣지 케이스 작업을 생성하는 합성 작업 생성 프레임워크인 EdgeGen을 제안합니다. EdgeGen은 기존의 합성 데이터 생성 기법과 결합하여 파인튜닝 및 하네스 최적화를 통해 에이전트를 개선할 수 있는 완전 자동화된 폐쇄 루프 시스템을 구축합니다.

EdgeGen을 통해 생성된 데이터로 파인튜닝을 수행했을 때, tau2bench 항공 도메인에서 평균적으로 2%에서 42%의 진행 향상을 보였으며, 이는 다른 기준 방법들이 일부 모델에서는 성능 저하를 보인 것과 대조적입니다. 또한, 하네스 최적화 측면에서는 Gemma-4-e4b 모델에 대해 인간이 선별한 하네스 및 기본 하네스 대비 평균 10%와 30%의 진행 향상을 달성했습니다.

선형 RNN을 기반으로 하는 델타 규칙은 효율적인 시퀀스 모델링을 가능하게 하지만, 저랭크 보정을 통한 선형 업데이트는 표현력에 제약을 가합니다. 기존 연구에서는 단일 순환 업데이트에서 두 개의 델타 규칙 전환을 합성하여 2차원 회전을 모델링할 수 있지만, 이는 업데이트 비용과 랭크를 증가시킵니다.

본 논문은 Kimi Delta Attention(KDA)이 채널별 게이트를 통해 두 번째 반사(reflection)를 결합함으로써 2차원 회전을 실현할 수 있음을 제시합니다. 이를 위해 KDA의 매개변수 범위를 확장하여 게이트를 [-1, 1]로, 델타 규칙 계수 $\beta$를 [0, 2]로 설정한 결과, 복합 KDA(Complex KDA, CKDA) 모델이 탄생했습니다. CKDA는 KDA의 안정성과 효율성을 유지하면서도 DeltaProduct_2의 상태 추적 표현력을 달성합니다.

CKDA 전환 행렬은 대각-랭크-원(diagonal-plus-rank-one)이며 비확장적이고 대칭적인 특성을 유지하며, 모든 직교 대각-랭크-원 행렬이 CKDA 전환 행렬임을 증명합니다. 단일 CKDA 레이어는 SO(3)의 부분군에 동형인 모든 유한군을 추적할 수 있으며, 이는 다른 대각-랭크-원 선형 RNN보다 적은 레이어로 상태 추적 결과를 얻을 수 있음을 의미합니다.

실증적으로 두 가지 확장 모두를 결합했을 때, 테스트된 KDA 범위 설정에서 $S_3, S_4$ 및 주기적 오디오 연속성에 대해 가장 강력한 길이 외삽(length extrapolation) 결과를 보였습니다. 특히 언어 모델링 분야에서 CKDA는 트랜스포머 및 다른 선형 RNN보다 우수하며, KDA 기준선과 유사한 결과를 얻고 유망한 스케일링 행동을 보입니다. 관련 코드와 모델은 공개되어 있습니다.

C와 C++에서 타입 펀닝은 메모리를 다른 타입으로 해석하는 행위로, 실제 작동은 하지만 컴파일러 최적화 시 정의되지 않은 동작(Undefined Behavior, UB)을 유발할 수 있습니다. 포인터 캐스트는 모든 컴파일러에서 작동하는 것처럼 보이지만, 엄격한 별칭 규칙(strict aliasing rule)을 위반하여 컴파일러가 코드를 최적화하는 과정에서 예상치 못한 결과를 초래합니다.

안전한 타입 펀닝을 위해서는 `union`이나 `memcpy`를 사용하는 것이 권장됩니다. `union`은 하나의 메모리 공간을 여러 타입으로 묶어 읽고 쓰는 것을 허용하며 이는 C에서 정의된 동작입니다. 또한 `memcpy`는 메모리 블록을 복사하는 방식으로, 컴파일러가 이를 레지스터 이동으로 최적화하여 안전하게 처리합니다.

C와 C++의 차이는 타입이 메모리를 해석하는 방식에서 비롯됩니다. C++는 타입을 일급 시민으로 간주하여 컴파일러가 타입 간의 별칭에 대해 더 많은 유연성을 허용합니다. 이로 인해 컴파일러는 메모리 오버랩이 발생하더라도 특정 조건에서 최적화를 수행하여 코드가 예상과 다르게 동작할 수 있습니다. 따라서 타입 펀닝을 할 때는 포인터 캐스트 대신 `union`이나 `memcpy`를 사용하여 코드의 안전성과 예측 가능성을 확보해야 합니다.

SVEET 프레임워크는 사전 학습된 양방향 비디오 확산 모델만을 사용하여 고품질의 스트리밍 비디오 편집을 자기회귀 방식으로 지원하는 새로운 방법론을 제안합니다. 이 연구는 기존의 비디오-투-비디오 확산 접근 방식을 재검토하여 스트리밍 적응을 위한 핵심 원리인 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 식별했습니다.

이러한 통찰을 바탕으로 연구진은 제어 가능한 비디오 생성에 대한 새로운 패러다임을 개발했습니다. SVEET의 핵심은 보조 모델 브랜치를 통해 시간적으로 독립적인 자기 주의(self-attention)를 사용하여 소스 비디오 입력을 인코딩하고, 이 중간 특징을 백본 블록에 주입하여 스트리밍에 적합한 제어를 가능하게 하는 것입니다.

또한, 양방향 모델과 스트리밍 모델 간의 특징 공간 불일치를 해소하기 위해 비디오 제어 가능성과 모델 인과성 사이의 최적화 방향 간의 직교성을 명시적으로 강제하는 분리된 훈련 방식을 제안합니다. 이러한 분리(disentanglement)는 추론 시 두 목표 간의 호환성을 보장하며 이기종 백본 아키텍처 전반에 걸쳐 원활한 제로샷 지식 전이를 촉진합니다.

실험 결과 SVEET는 보조 가속 기술 없이 단일 H100 GPU 17에서 15 FPS를 달성하면서도 우수한 편집 품질과 실시간 성능을 동시에 달성했습니다. 관련 코드는 GitHub에서 공개되어 있습니다.

RAG 시스템이 기업 지식 기반을 처리할 때 PDF, Word 문서, 스캔 등 이질적인 형식의 문서를 처리해야 하는 문제가 있습니다. 이러한 문서들은 복잡한 시각적 레이아웃과 표 때문에 내용이 훼손되기 쉬우며, 기존의 규칙 기반 추출이나 OCR 방식은 읽기 순서를 파괴하고 표를 평탄화하며 제목 계층 구조를 잃게 만듭니다. 또한, 추출된 텍스트에 대한 에이전트 기반 청킹은 높은 토큰 비용과 환각(hallucination) 위험을 수반합니다.

이에 연구진은 임의의 문서 형식에 적용 가능한 Document Retrieval-Aware Chunking(D-RAC)이라는 프레임워크를 제시합니다. D-RAC는 입력 문서를 PDF로 정규화하고, 멀티모달 LLM을 사용하여 페이지를 검색 최적화된 마크다운으로 변환하는 과정을 거칩니다. 이 과정에서 표는 자체 포함된 산문 진술로 재작성되고 제목 계층 구조가 보존되어 검색에 최적화된 형태로 변환됩니다.

D-RAC는 텍스트를 청킹할 때 텍스트가 아닌 식별자를 기반으로 작동하여 W-RAC 프레임워크의 비용 효율성과 결정성을 유지합니다. 236개 문서, 795페이지 분량의 PDF 셋을 대상으로 한 벤치마크에서 D-RAC는 오류 없이 72분 만에 전체 코퍼스를 처리하여 1,748개의 검색 준비 완료 청크를 생성했습니다. 이는 최첨단 LLM을 사용한 에이전트 청킹 방식과 비교했을 때 청킹 단계의 출력 토큰을 95.7% 줄이고 청킹 비용을 77.8% (GPT-4.1 가격 기준)에서 85.6% (Gemini 2.5 Pro 가격 기준)로 절감했습니다.

D-RAC는 500페이지 이상의 문서에도 선형적으로 확장 가능하여 다양한 문서 형식에 적용할 수 있는 실용적인 방법을 제공합니다.

비전-언어-행동(VLA) 정책은 로봇 조작에서 강력한 성능을 보이지만, 실행이 기준 궤적에서 벗어날 경우 취약하다는 한계가 있습니다. 이에 연구진은 실행 중 발생하는 실패로부터 학습하여 복구 능력을 향상시키는 프레임워크인 CARE(Corrective Atomic Robotic Execution)를 제안했습니다.

CARE는 수동 설계나 무작위 교란을 통해 보정 데이터를 생성하는 대신, 실패한 롤아웃을 수집하고 실패 후의 단계별 편차를 모델링하여 결과적인 경험 분포를 활용해 대표적인 실패 상태와 보정 시연을 합성합니다. 추론 시점에서는 단계별 계획과 물리적으로 근거가 있는 3D 모니터링을 결합하여 작업 진행을 유지하면서 원자적인 조정이나 재작업을 유발합니다.

또한, 연구진은 중간 실패 상태와 국소적 편차 및 구조적 이상에 대한 복구 능력을 평가하기 위해 실패 상태 복구 벤치마크(FSR-Bench)를 도입했습니다. 여러 VLA 백본, 시뮬레이션 벤치마크, 실제 이중 팔 작업에 걸친 실험 결과, 시뮬레이션에서 평균 작업 성공률이 14.5점, 실제 환경에서 15.9점 향상되는 일관된 개선을 보였습니다.

관련 코드, 모델, 데이터는 GitHub에서 공개되어 있으며, CARE 프레임워크는 로봇 실행의 견고성과 복구 능력을 실질적으로 개선하는 데 기여합니다.

희소 온폴리 증류(OPD)는 학생이 생성한 궤적의 일부 토큰에만 교사 감독을 할당하는 방식입니다. 그러나 유용한 교사 지침에서 기울기(gradient)를 샘플링된 다음 토큰으로부터 추정할 때 업데이트가 노이즈를 포함할 수 있습니다. 연구진은 정보 기하학에서 고정된 접두사(fixed prefix)를 기준으로 이 추정 문제를 분석하고 신호 대 잡음 분해를 기반으로 정보 효율 비율(IER)을 제안했습니다.

IER은 최적의 스칼라 기준선 하에서 상대적인 기울기 추정 오류를 특징짓는 지표입니다. 이 IER을 사용하여 기존의 유용성 점수와 결합하여 토큰 선택을 가능하게 하는 후보 집합 근사(candidate-set approximation)를 개발했습니다. 이 방법은 샘플링된 역-KL 훈련 목표를 유지하면서 토큰 선택을 수행할 수 있습니다.

수학 및 의학 추론 작업에서 IER을 추가함으로써 기존 선택자들의 성능이 향상되었습니다. 특히 작은 토큰 예산(0.1%~1%)에서 희소 구성은 토큰 선택 없이 전체 OPD와 동등하거나 더 나은 결과를 보였습니다. 이는 희소 감독을 할당할 때 유용성과 기울기 추정 신뢰성을 모두 고려해야 함을 뒷받침합니다.

비전-언어-행동(VLA) 모델은 세상이 어떻게 반응하는지에 대한 목표가 없어 데이터 커버리지에 의해 견고성이 제한된다는 한계가 있습니다. 이 문제를 해결하기 위해 연구진은 세상 모델(World Model)을 도입하여 이 목표를 제공하고, VLA 모델과 세상 모델을 분리할 수 있음을 보였습니다. 세상 모델이 물리적 장면에 대해 아는 것은 내부 특징에 있으며, 미래를 생성하는 것은 그 특징이 만들어낸 목표에 불과하므로, 이 기반 지식을 물려받으면서 생성 메커니즘은 분리할 수 있습니다.

연구팀은 일반적인 VLA 훈련에 특징 정렬 항을 추가하여 이 두 요소를 분리하는 방법을 제시했습니다. 훈련 중에는 교사 모델을 로드하지 않고, 고정된 세상 모델을 한 번 실행하여 캐시한 후 학생 모델이 이 캐시에 동의하도록 학습시킵니다. 이 과정에서 배포된 정책은 기본 모델과 동일하며, 소비자용 RTX 5090에서 32ms의 속도와 1.86GB의 메모리로 실행됩니다.

실제 실험 결과, 0.8B 규모의 학생 모델은 LIBERO에서 97.9%의 성능을 달성했으며, RoboCasa-GR1 휴머노이드 조작에서는 48.2%에서 50.5%로 성능을 개선했습니다. 이러한 성능 향상은 추가적인 용량이나 테스트 시간 컴퓨팅이 아닌 표현(representation) 자체에서 비롯되었으며, 이는 단일 팔 및 양손 플랫폼 모두에서 실제 하드웨어로 확장되었습니다.

이러한 성능 향상은 학생 모델의 규모, 백본, 정렬 레이어, 교사 모델의 변화에도 불구하고 유지되었는데, 이는 두 네트워크 간의 취약한 정렬보다는 광범위한 표현적 사전 지식(representational prior)이 존재함을 시사합니다.

최근 비디오 생성 모델은 높은 충실도와 시간적 일관성을 제공하지만, 전문 지식, 특정 정체성, 물리적 일관성, 순차적 사건을 요구하는 프롬프트를 만족시키는 데 어려움을 겪습니다. 이 논문은 이러한 문제를 해결하기 위해 외부 도구를 사용하여 비디오 생성을 수행하는 멀티모달 에이전트인 VideoGen-Agent를 제시합니다.

VideoGen-Agent는 다중 작업 에이전트 강화 학습을 통해 훈련되었으며, 프롬프트와 중간 관찰을 사용하여 증강, 생성, 검증 도구를 다중 턴 상호작용을 통해 조정합니다. 6가지 작업에 걸친 카테고리 균형 데이터셋에서 공유 정책을 훈련하고, 교사 생성 궤적에 대한 지도 미세 조정을 거친 후 강화 학습으로 정제하여 도구 사용 행동을 확립합니다.

평가에는 도구 호출 유효성, 작업 적절한 도구 사용, 생성된 비디오 품질을 평가하는 카테고리 인식 하이브리드 보상이 사용됩니다. 또한 600개의 프롬프트를 포함하는 VABench라는 홀드아웃 벤치마크를 도입하여 절차적 지식, 단일 및 다중 개체 정체성 보존, 물리적 일관성, 장면 구성, 다중 샷 시간 구조를 평가합니다.

VABench에서 VideoGen-Agent는 기본 텍스트-비디오 생성기보다 19.1점 향상되어 56.5점에서 75.6점으로 점수가 개선되었습니다. 생성 도구를 추가로 업그레이드하면 추가적인 에이전트 훈련 없이 점수가 86.1점으로 상승합니다. 인간 평가자들은 84.3%의 비교에서 업그레이드된 구성을 가장 강력한 단독 기준선보다 선호했습니다. 이는 비디오 생성 작업 전반에 걸쳐 도구 사용을 학습하고 훈련된 에이전트가 후속 생성 도구의 발전을 활용할 수 있음을 보여줍니다.

장기 목표를 가진 AI 에이전트에게 에이전트 메모리는 필수적이지만, 기존 시스템들은 메모리 조직, 검색, 사용 방식을 제어하기 위해 비용이 많이 드는 자기회귀 LLM에 의존하여 메모리 작업이 병목 현상을 일으킵니다. 이에 본 연구는 System-One과 System-Two 인지론에서 영감을 받은 새로운 에이전트 메모리 아키텍처인 Jev-Mem을 제안합니다.

Jev-Mem은 메모리 작업의 분업을 위해 전용 System-One 제어 평면, 구조화된 다중 관계 메모리 평면, 그리고 System-Two 추론 평면을 도입합니다. System-One 컨트롤러는 메모리 구성 시 타입 및 관계 조직을 관리하며, 검색 중에는 쿼리 라우팅, 검색 예산 할당, 그래프 탐색, 후보 점수 지정, 적응형 중지 등의 작업을 동적으로 수행합니다. 복잡한 추론과 답변 합성은 오직 System-Two에서만 이루어지도록 설계되었습니다.

이러한 설계는 메모리 효과성과 시스템 효율성을 동시에 개선합니다. LoCoMo 환경에서 Jev-Mem은 LLM-as-a-Judge 점수 0.777을 달성하여 가장 강력한 기준선 대비 11.0%의 상대적 개선을 보였습니다. 또한 메모리 구성 시간을 158초로 단축하여 가장 빠른 경쟁 메모리 시스템보다 6.6배 빠르며, 평균 쿼리 지연 시간을 0.93초로 낮춰 36.7% 감소시켰습니다.

비디오 월드 모델은 동적인 환경을 상호작용적으로 탐색할 수 있게 하지만, 장기간 또는 시점 간의 관점을 넘어서 이전 관찰을 존중하는 데 어려움을 겪습니다. 이에 본 논문은 이러한 문제를 해결하기 위해 카메라 질의가 가능한 암시적 3D 인식을 갖는 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제안합니다.

WorldCrafter의 핵심 통찰은 요청된 시점이 다중 시점 증거를 비디오 생성기의 제한된 토큰 예산으로 압축하는 방식을 형성하도록 하는 것입니다. 비디오 생성기, 메모리 인코더, 자세 조건부 판독 모듈을 공동으로 학습시켜 명시적인 깊이 기반 대응 관계 없이도 과거 관찰을 목표 시점별 토큰 세트로 통합하여 노이즈 제거 전에 정보를 통합합니다.

이러한 메모리를 최근 시간적 맥락 및 소수 단계 증류와 결합함으로써 WorldCrafter는 단일 입력 이미지나 텍스트 프롬프트로부터 장면을 스트리밍 방식으로 탐색할 수 있게 합니다. 정적 및 동적 장면 모두에서 실험 결과는 분 단위 탐색 중에도 시각적 품질을 유지하면서 장기 일관성과 카메라 제어 정확도를 크게 향상시켰음을 보여줍니다.

LLM 에이전트의 능력은 프롬프트, 제어 흐름, 도구, 메모리, 컨텍스트 관리 등 백본 모델을 둘러싼 하네스(harness)에 의해 크게 향상됩니다. 최근 방법들은 이러한 하네스에 대한 구성 요소별 수정을 반복적으로 제안하고 선택함으로써 에이전트 시스템 수준에서 재귀적 자기 개선(RSI)을 실질적으로 확립하고 있습니다. 그러나 이러한 재귀적 진화는 훈련 작업을 암기하여 과적합될 수 있으며, 이는 분포 내에서 큰 성능 향상을 보이지만 분포 외 벤치마크에서는 그 이점이 줄어들거나 사라지는 문제가 있습니다.

이 문제를 해결하기 위해 본 논문은 하네스 자기 개선에 정규화 원리를 통합하는 정규화된 재귀적 자기 개선 하네스(RRSI)를 제안합니다. RRSI는 진화 후보 제안과 선택을 제약함으로써 정규화를 적용합니다. 구체적으로 제안자는 시간적으로 감쇠된 예산(temporally annealed budget)을 사용하여 후보가 묶을 수 있는 수정 횟수를 제한하며, 진화 이력을 기반으로 탐색되지 않은 경로를 장려합니다.

선택자는 비평가(critic)와 가지치기기(pruner)를 장착하는데, 비평가는 벤치마크별 제안을 검토하고 가지치기기는 너무 작거나, 너무 비싸거나, 더 이상 유용하지 않은 변경 사항을 제거합니다. 이러한 제약 조건은 벤치마크별 하네스보다는 재사용 가능한 에이전트 메커니즘을 선호하도록 합니다. 결과적으로 RRSI는 코딩, 에이전트 작업 공간, 엔지니어링 설계 작업을 포괄하는 여덟 가지 벤치마크에서, 진화 대상에 대해 최대 14.1점, 분포 외 벤치마크에서 최대 4.7점의 성능 향상을 달성했습니다.

또한 RRSI는 비정규화된 진화보다 정책 토큰을 30% 적게 사용하는 하네스를 생성하여 효율성도 높입니다. 이 연구의 코드는 GitHub에서 제공되며 프로젝트 페이지는 regularized-rsi.com에 있습니다.

워터마크는 본질적으로 무해하지만, 스파이마크는 사용자의 동의 없이 작업의 출처를 추적할 수 있게 하는 숨겨진 신호입니다. 구글의 SynthID와 같은 기술은 이미지, 오디오, 텍스트에 인간이 인지하지 못하는 신호를 삽입하여 사용자 기록, IP 주소, 이름 등의 데이터베이스 식별자를 인코딩할 수 있습니다. 이는 512x512 픽셀 이미지에 64비트 데이터베이스 식별자를 담을 수 있는 공간을 제공하며, 이러한 추적 메커니즘은 AI 생성 콘텐츠를 식별하는 것을 넘어 광범위하게 적용될 수 있습니다.

이러한 스파이마크는 기존의 워터마크와 달리 사용자에게 보이지 않으며, 파일의 메타데이터를 제거하거나 일부 편집을 가해도 추적 신호가 남아있어 복사본의 흐름을 추적하는 데 사용될 수 있습니다. 예를 들어, 이미지의 주파수 영역이나 오디오의 시간 영역에 미세한 변화를 주어 개인 정보와 연결된 식별자를 숨길 수 있습니다.

따라서 기술적 용어를 변경하여 개인 정보 보호 문제를 전면에 내세우는 것이 중요합니다. '워터마크'라는 용어는 저작권이나 인증과 같은 긍정적인 의미로 사용되어 개인 정보 보호 위험을 가리는 경향이 있지만, '스파이마크'라는 용어는 감시와 비자발적 공개를 의미하여 잠재적인 위험을 명확히 합니다.

이러한 스파이마크 기술이 모든 파일과 게시물에 내재될 경우, 모든 디지털 콘텐츠의 확산 경로와 인간 네트워크를 추적하는 데 사용될 수 있어 개인의 자유와 안전에 심각한 위협이 될 수 있습니다.

Amiga Unix 프로젝트인 Amix가 현대 하드웨어에서 다시 활성화되고 있으며, 이는 레거시 시스템을 현대적인 도구와 개발 방법론으로 재해석하는 커뮤니티 프로젝트입니다. amigaux.org는 68040 및 68060 기반 기기뿐만 아니라 최신 가속기 하드웨어에서도 Amix를 구동할 수 있도록 모던한 툴체인, 패키지 관리자, 드라이버를 제공하고 있습니다.

이 프로젝트는 오픈 소스로 진행되며, 개발 과정은 '그리모어'에 기록되어 있으며, 특히 커널과 드라이버 개발에 생성형 AI를 활용하여 코드를 작성하고 검증하는 독특한 방식을 채택하고 있습니다. 이를 통해 실제 하드웨어에서 테스트하며 코드가 작동하는지 확인하는 과정을 거쳐 신뢰성을 확보하고 있습니다.

Amix 프로젝트는 Amix 2.1 커널, SCSI 및 이더넷 드라이버, X11 및 Mesa 스택 등 광범위한 소프트웨어 구성 요소를 포함하며, apkg 패키지 관리자를 통해 grep, gzip 같은 GNU 및 BSD 도구들을 통합하여 제공합니다. 이는 과거의 시스템을 현대적인 소프트웨어 환경에서 구동하고 확장할 수 있는 기반을 마련합니다.

개발자들은 이 프로젝트를 통해 레거시 아키텍처에 대한 깊은 이해를 유지하면서도 최신 기술을 적용하는 방법을 학습할 수 있습니다. 실제 하드웨어에서의 테스트와 문서화는 프로젝트의 신뢰성을 높이며, Amix 생태계를 현대적으로 확장하는 데 기여하고 있습니다.

ByteDance와 칭화대학교 AIR에서 개발한 DAPO는 바이트댄스 시드와 칭화대학교 AIR의 연구를 기반으로 한 대규모 LLM 강화 학습(RL) 시스템을 오픈 소스로 공개한 내용입니다. 이 시스템은 Decoupled Clip 및 Dynamic Sampling Policy Optimization (DAPO) 알고리즘을 제안하며, 확장 가능하고 안정적인 강화 학습을 연구 커뮤니티에 제공합니다.

DAPO는 대규모 LLM RL 분야에서 최고 수준의 성능을 달성했으며, Qwen2.5-32B 기반 모델로 AIME 2024에서 50점을 획득하는 결과를 보였습니다. 이 성과는 학습 중 응답 길이의 안정적인 증가, 보상 신호의 안정성, 그리고 탐색과 활용 사이의 균형을 유지하는 엔트로피 및 평균 확률 추세를 통해 달성되었습니다.

연구팀은 알고리즘 상세 내용, 코드 인프라, 데이터셋을 완전히 공개하여 광범위한 연구 커뮤니티가 확장 가능한 강화 학습 기술을 활용할 수 있도록 했습니다. DAPO 학습을 위한 DAPO-Math-17k 데이터셋과 AIME 2024 검증 데이터셋을 제공하며, AIME 44점과 AIME 50점 달성을 위한 학습 스크립트도 제공됩니다.

개발자들은 이 시스템을 활용하여 자체적으로 대규모 LLM RL 실험을 재현하고, 안정적인 학습 환경을 구축하는 데 필요한 코드를 즉시 사용할 수 있습니다. 이는 복잡한 추론 행동을 학습하는 모델의 안정성과 성능을 개선하는 데 기여합니다.

스노든 기밀 기록 보관소의 마지막 문서가 2019년 5월 29일에 공개된 이후, 어떠한 언론 매체나 기관도 해당 기록 중 단 한 문서도 공개하지 않고 있습니다. 가디언, 독일의 Der Spiegel, 뉴욕 타임스, 프로퍼블리카 등 주요 언론사들은 2014년과 2015년에 보도 중단을 선언했으며, 인터셉트(The Intercept) 역시 2019년 3월에 기록 보관소를 마감했습니다.

스노든은 기자들과 점진적으로 기록을 공유했으며, 이 과정에서 라우라 포이트라스(Laura Poitras)와 배턴 겔만(Barton Gellman) 같은 인물들이 기록의 복사본을 확보했습니다. 스노든은 기록의 '단일 실패 지점'에 대해 경고하며 자료를 다른 손에 전달할 것을 촉구했으며, 이 과정에서 여러 개인에게 복사본이 전달되었습니다.

이 기록은 수십만 건에 달하며, 일부 기자들은 자신들이 전체 기록의 사본을 보유하고 있다고 주장하지만, 이 자료를 학술 기관에 넘기는 과정에서 정치적 우려로 인해 기관들이 주저했다는 비판이 제기되었습니다.

결과적으로 이 방대한 자료는 여전히 일부 개인과 언론인들에게 남아 있으며, 이는 감시 시대에 정보의 분배와 보존에 대한 중요한 맥락을 제공합니다.

구글이 개발한 Open Agentic Orchestrator(AX)는 에이전트 워크로드를 대규모로 실행하고 관리하기 위해 설계된 새로운 런타임 시스템입니다. AX는 에이전트가 작업을 수행하는 데 필요한 격리된 실행 환경, 네트워크 정책, 모델 설정 등을 선언적으로 처리할 수 있는 네 가지 핵심 기능을 제공합니다.

이 시스템은 에이전트의 실행을 위해 작업 격리 실행, 작업 공간 설정, 게이트웨이 네트워크 정책, 모델 구성 등의 기본 원리를 추상화하여 개발자와 연구자가 인프라를 재구축하지 않고도 수십억 개의 에이전트 세트를 관리할 수 있게 합니다. 특히 에이전트가 모델 API나 도구 서버를 호출하는 과정에서 발생하는 상태 관리와 격리 문제를 해결하는 데 중점을 둡니다.

AX는 Agent Substrate라는 컴퓨팅 런타임 위에 구축되어 대규모 밀도와 빠른 상태 기반 액터 수명 주기를 위해 설계되었습니다. 이를 통해 수십억 개의 작업을 클러스터 전체에서 실행할 수 있으며, 에이전트가 모델 응답이나 외부 도구 호출을 기다리는 동안에도 에이전트를 1초 미만으로 일시 중지하고 재개할 수 있는 기능을 제공합니다.

이러한 기능은 에이전트 기반의 연구 및 개발 환경을 획기적으로 개선하며, 개발자와 연구자가 인프라 관리 대신 실제 작업에 집중할 수 있도록 돕는 데 목적이 있습니다. AX는 에이전트 실행에 있어 사용 편의성, 빠른 반복, 즐거운 워크플로우에 초점을 맞추어 설계되었습니다.