읽을 가치가 있는 기사만, 짧고 또렷하게.

대규모 비전-언어 모델이 UI-to-code 생성에서 강력한 발전을 보였음에도 불구하고, 테스트 시 자기 진화 과정은 여전히 불안정하다는 문제가 제기되었습니다. 연구진은 이 문제를 '시각 복구 결합(visual repair coupling)'이라는 근본적인 장애물로 식별했는데, 이는 로컬 코드 수정이 레이아웃, 스타일, 컴포넌트 의존성을 통해 전파되어 한 시각적 불일치를 수정하는 동시에 이전에 충실했던 영역을 저하시킬 수 있다는 것입니다.

이 문제를 해결하기 위해 연구진은 RubSE라는 Rubric-guided Self-Evolution 프레임워크를 제시했습니다. RubSE는 루브릭(rubrics)을 사용하여 시각적 피드백을 구조화된 시각 복구 컨텍스트로 표현합니다. 각 개선 라운드마다 RubSE는 타입화된 후보 루브릭을 생성하고 우선순위가 높은 복구 대상을 선택하며, 이전에 선택된 루브릭들을 기록하여 각 수정이 잘 범위가 정해진 시각 복구 방향으로 나아가도록 유도하고 반복적이거나 광범위한 변경을 억제합니다.

여섯 개의 VLM과 세 개의 UI-to-code 벤치마크에 걸친 평가 결과, RubSE는 단순한 자기 진화보다 최종 라운드 및 최적 라운드 설정에서 훨씬 뛰어난 성능을 보였습니다. 이는 더 안정적인 정제 궤적과 더 높은 궤적 수준의 성능 천장을 달성했음을 의미합니다. 또한 추가 분석 결과, RubSE는 심각한 시각적 퇴행으로부터의 복구를 개선함으로써 궤적 붕괴를 완화하며, 더 강력한 루브릭 생성기는 약한 코드 개선자에게 효과적인 시각 복구 지침을 전달할 수 있음을 보여줍니다.

코딩 에이전트가 여러 모델 호출, 도구 사용, 코드 수정을 포함하는 장기 작업을 수행할 때 발생하는 비용-품질 상충 관계를 연구한 결과가 발표되었습니다. 사용자는 더 강력한 모델로 상향 조정하거나(escalation) 추론이 완료된 후 모델을 하향 조정(downshift)하는 선택을 하지만, 이러한 전환 과정에서 수신 모델은 이전 모델이 생성한 비자연스러운 궤적(non-native trajectory)을 계속 이어가야 합니다.

연구진은 클로드(Claude)와 GPT 계열의 저비용/저능력(LC) 모델과 고비용/고능력(HC) 모델 쌍을 사용하여 이러한 핸드오프가 품질과 비용에 미치는 영향을 분석했습니다. 전체 궤적 전송 방식은 비용 프리미엄을 발생시키지만, LC 모델에서 HC 모델로의 상향 조정은 품질 격차의 절반도 회복하지 못하는 것으로 나타났으며, 이를 비용-품질 페널티로 명명했습니다.

반면, 모델을 하향 조정하는 방식은 비용-품질 측면에서 유리한 지점을 제공합니다. 흥미롭게도 선호되는 인터페이스 역시 방향에 따라 반전되었습니다. LC 모델의 궤적 정보를 줄이면 상향 조정 품질이 향상되지만, HC 모델의 궤적 정보를 제거하면 하향 조정 품질이 감소하는 것으로 나타났습니다.

대규모 병렬 시뮬레이션 환경에서 오프-폴리시 강화 학습(RL)을 훈련할 때, 데이터 제한 환경에 맞춰 설계된 안정화 기법들이 도전받고 있습니다. 연구진은 여덟 가지 벤치마크 가족에 걸친 실험을 통해 이러한 안정화 기법들이 데이터 체제에 따라 달라진다는 것을 보여주었습니다. 예를 들어, 파라미터 정규화는 데이터가 풍부할 때 가치 적합을 제한하지만 데이터가 제한적일 때는 좁은 재생 범위에 도움이 되며, 클립된 이중 Q(clipped double-Q)는 고처리량 조작에서 완화될 수 있습니다.

이러한 발견을 바탕으로 연구진은 데이터 체제에 민감한 WarpSAC라는 새로운 오프-폴리시 RL 알고리즘 패밀리를 제안했습니다. WarpSAC는 효율적인 활용을 위해 샘플 가중치 감쇠(Sample Weight Decay)를 사용하며, 데이터 제한적인 CPU 규모 훈련을 위한 WarpSAC-L과 데이터가 풍부한 GPU 병렬 훈련을 위한 WarpSAC-A 두 가지 변형을 제공합니다.

WarpSAC는 FlashSAC 대비 정규화된 점수-단계 AUC를 CPU 환경에서 4.5%, GPU 병렬 환경에서 23.1% 향상시켰습니다. 또한, UnitreeG1TransportBox-v1의 성공률을 19.8%에서 96.4%로 높였으며, MuJoCo Playground에서의 평균 정규화된 벽 시간 AUC를 19.1% 개선했습니다. 결과적으로 WarpSAC는 Unitree G1에서 FlashSAC보다 36.4% 더 빠른 시뮬레이션-실제 환경 배포를 달성했습니다.

이러한 결과는 확장 가능한 오프-폴리시 RL이 사용 가능한 데이터 체제에 맞춰 안정화 기법을 적응시켜야 함을 시사합니다.

트랜스포머 언어 모델을 확장할 때 표현력과 메모리 효율성 사이에 내재된 긴장이 발생합니다. 레이어별 고유한 가중치는 기능적 전문화를 보존하지만 상당한 메모리 발자국을 요구하며, 반면 표준 깊이 공유 방식은 표현적 다양성을 붕괴시키고 모델링 품질을 저하시킵니다.

이에 연구진은 재귀적 깊이 트랜스포머인 게이티드 재귀 트랜스포머(Gated Recurrent Transformer)를 제안했습니다. 이 모델은 고정된 깊이의 프렐류드 및 코다 블록이 단일 공유 코어를 R번 반복하도록 구성되며, 게이티드 순환 신경망에서 영감을 받아 은닉 상태, 고정된 프렐류드 출력, 노이즈를 조건으로 사용하여 재귀 업데이트를 조절하는 게이트를 사용합니다. 이는 여러 고유 레이어를 필요로 하지 않고 재귀를 통해 동일한 소수의 레이어에 입력을 전문화할 수 있게 합니다.

isoFLOPS 제약 조건 하에서 3층 Gated Recurrent Transformer는 12층 GPT-2 Small 모델과 유사한 훈련 및 추론 FLOPs를 가지면서 정확도를 일치시키고, 모든 규모별 예산 셀에서 MoR 및 헤비테일 깊이 샘플링을 선도합니다. 또한 isoPARAMS 제약 조건 하에서 더 깊은 재귀는 매칭된 파라미터 및 데이터 예산에서 비재귀 모델보다 2.76의 검증 손실을 달성했습니다.

이 결과는 적응형 깊이 재사용이 품질을 위해 파라미터를 교환하는 원칙적인 전략임을 보여줍니다. 대규모에서 컴파일된 생성 지연 시간이 10% 증가했을 때, 적응형 깊이 재사용은 63% 적은 파라미터와 59% 적은 최대 디코딩 메모리를 제공합니다.

과학 에이전트가 데이터를 분석하고 코드를 실행하며 연구 결과물을 생성하고 있지만, 기존 벤치마크들은 최종 답변이나 단일 도메인에 중점을 두는 경향이 있습니다. 이에 연구진은 300개의 종단 간 과학 워크플로우를 포함하는 교차 도메인 벤치마크인 FrontierChallenge를 소개했습니다. 이 벤치마크에서는 양자 화학, 분자 동역학, 재료 특성 분석, 분석 화학, 생명 과학, 전기화학/환경 등 다양한 분야의 97개 작업을 평가했습니다.

평가 결과, 최고의 구성들은 전체 97개 작업 중 단 20개만 완료하여 전체 완료 기준을 만족하는 성공률(Pass Rate)은 20.6%에 불과했습니다. 특히 분석 화학과 전기화학/환경 분야에서는 부분적인 진행 상황이 완전한 결과물로 이어지는 데 매우 미흡한 것으로 나타났습니다. 해당 분야의 평균 점수는 각각 87.6점과 94.9점에 달했지만, 최고 성공률은 4%와 0%에 그쳤습니다.

또한, 통과하지 못한 Claude Code 경로 중 75.5%가 완료를 주장하는 언어를 사용했음에도 불구하고 실제로는 완료되지 않은 것으로 확인되었습니다. 이러한 결과는 높은 부분 점수나 완료에 대한 자신감 있는 주장만으로는 과학적 작업이 완전히 전달되었다고 보장할 수 없음을 시사합니다. 따라서 과학적 작업의 성공 여부를 평가하기 위해서는 종단 간 워크플로우 실행과 과학적 결과물의 완전성을 함께 고려해야 합니다.

다중 교사 온-정책 증류(MOPD) 방법은 여러 도메인 전문가를 단일 학생으로 증류할 때 각 도메인별 역-KL 발산(reverse-KL divergence)을 최소화하는 방식으로 작동합니다. 기존 접근 방식은 훈련 전에 도메인 데이터 혼합 비율을 고정하여, 도메인들이 서로 다른 속도로 수렴한다는 사실을 간과했습니다. 이로 인해 빠른 수렴 도메인에 컴퓨팅 자원이 낭비되고 느리게 수렴하는 도메인은 충분히 훈련되지 못하는 문제가 발생했습니다.

이 문제를 해결하기 위해 D^3-MOPD(Dynamic Domain Scheduling for MOPD)라는 제로 오버헤드 스케줄러가 제안되었습니다. D^3-MOPD는 훈련 중에 이미 생성된 도메인별 역-KL 신호를 활용하여 도메인 혼합 비율을 온라인으로 조정합니다. 비동기적으로 작동하는 오프-프로세스 감시기가 각 도메인의 KL 궤적을 추적하고 남은 여유 공간과 현재 개선 속도를 추정하여 도메인 샘플링 비율을 조정합니다.

이 스케줄러는 도메인 수에 관계없이 확장 가능하며, 더 다양한 수렴 패턴을 제공할수록 예상되는 이점이 커집니다. 예를 들어, 네 명의 도메인 전문가로부터 증류된 Qwen3.6-35B-A3B 학생 모델의 경우, D^3-MOPD는 일반 MOPD의 63%에 비해 평균 학생-교사 성능 격차를 97%까지 좁혔습니다. 또한, 동일한 최고 성능을 달성하면서 롤아웃 단계는 약 3배 감소했으며, 일곱 개의 벤치마크 중 세 개에서 전문가 교사들을 능가하는 결과를 보였습니다.

GUI 에이전트는 안드로이드 환경에서 예상치 못한 팝업이나 잘못된 행동 사용과 같은 동적 이상 현상에 자주 직면하지만, 이러한 이상 현상에 대한 에이전트의 견고성을 체계적으로 평가하는 벤치마크는 부족합니다. 이에 연구진은 에이전트 실행 궤적에 동적 교란을 주입하는 포괄적인 벤치마크인 AnTrap을 소개했습니다. 이 벤치마크는 실제 이상 현상을 상태(State), 사고(Thinking), 행동(Action), 라운드(Round)의 네 가지 계층과 10가지 세분화된 하위 범주로 분류하는 분류 체계를 제안하며, 과제 해결 가능성을 유지하면서 현실적인 적대적 조건을 도입하는 구축 파이프라인을 개발했습니다.

연구 결과, 16개의 주요 GUI 모델을 평가한 결과, 동적 이상 현상에 대해 보편적인 취약성이 발견되었으며, 가장 강력한 모델조차도 상당한 성능 저하를 겪는 것으로 나타났습니다. 또한, 벤치마크를 검증하기 위해 원본 환경과 적대적 환경 모두에서 GRPO 훈련을 수행하여 환경 학습 가능 이상 현상과 추론 병목 현상으로 인한 이상 현상을 분리했습니다.

이러한 분석을 통해 단일 단계의 상태 및 행동 계층 트랩은 적대적 강화 학습을 통해 상당 부분 해결될 수 있음을 알 수 있습니다. 그러나 상태 교착(state deadlock)과 같은 깊은 맥락적 트랩은 트랩이 있는 환경에서 훈련하는 것만으로는 해결할 수 없는 내재적 한계를 노출합니다. 이는 에이전트의 견고성을 평가할 때 단순히 환경 내 훈련을 넘어선 심층적인 맥락적 이해가 필요함을 시사합니다.

대화형 LLM을 위한 메모리 시스템 평가는 기존의 직접적인 사실 탐색 질문(Direct QA)에 의존해 왔습니다. 이는 모델이 이전 대화에서 특정 사실 X를 얼마나 잘 회상하는지를 측정하는 방식입니다. 연구진은 4개월간의 배포에서 사용자 만족도와 직접 QA 정확도 간의 상관관계를 테스트했으며, 기존 벤치마크인 직접 QA 정확도가 19.7%에서 70.1%까지 다양했음에도 사용자 만족도는 변하지 않았음을 발견했습니다.

연구진은 기존 벤치마크와 사용자 만족도가 서로 다른 능력을 측정하고 있다고 가정합니다. 즉, 벤치마크는 질문에 대한 회상(elicited retrieval)을 측정하는 반면, 실제 대화는 관련성을 감지하고 이전 맥락을 자연스럽게 응답에 통합하는 자연스러운 통합(natural integration) 능력을 요구합니다. 이 간극을 조사하기 위해 연구진은 배포에서 추출한 실제 사용자 기반의 메모리 순간들을 점수화하는 MemUse를 도입했습니다.

MemUse는 자연스러운 대화 응답에 대한 통합 인식 기반 판단을 통해 메모리 순간을 평가합니다. 흥미로운 점은 모델과 맥락을 고정했을 때, 직접 QA에서 78.8%를 기록한 시스템이 실제 대화에서는 해당 사실의 7.9%만을 참조한다는 것입니다. 이는 71점의 격차를 의미하며, 자연스러운 통합 능력은 사용자 만족도와 관련이 있지만 직접 QA 정확도는 만족도와는 관련이 없음을 보여줍니다.

연구진은 이 배포 코퍼스와 MemUse 점수 및 평가 프롬프트를 GitHub에서 공개했습니다. 이는 메모리 시스템 평가가 단순한 사실 회상에서 실제 대화 맥락 통합으로 확장되어야 함을 시사하며 개발자들이 메모리 시스템의 실제 성능을 평가하는 데 새로운 기준을 제시합니다.

거대 언어 모델(LLM) 에이전트는 다중 역할 및 다단계 워크플로우를 통해 복잡한 작업을 조정합니다. 이 과정에서 상위 상태는 요약, 계획, 메모, 전달 노트와 같은 중간 언어 아티팩트로 반복적으로 변환되어 하위 구성 요소가 작동하는 데 사용됩니다. 연구는 이러한 상태 보존을 운영 상태 보존(operational state preservation)으로 정의하며, 이는 행동 제약 상태를 유지하는 역할을 의미합니다.

안전 차단기(Safety blockers)는 각 소스 상태가 명시적인 전제 조건, 권한, 대체 경로 및 실행 결과를 갖도록 하여 통제된 인스턴스를 제공합니다. 실험 결과, 직접 전달 제어는 모든 차단기를 보존하지만, 압축, 계획 동화, 수렴 등의 변환은 제약 상태를 단순한 주의 사항이나 비구속적인 고려 사항으로 반복적으로 바꿉니다.

일반적인 전달 압축은 100.0% 비활성화와 54.2% 금지된 행동을 초래합니다. 모든 네 가지 상태 필드를 복원하면 보존율이 100.0%로 증가하고 금지된 행동이 0.0%로 감소합니다. 이는 정보 추출과 행동 사이에 상태 전송 실패가 있음을 시사하며, 의미적 가용성이 운영 상태 보존을 보장하지는 않는다는 것을 보여줍니다.

결론적으로, 전달 변환은 상태 내용을 유지하면서 하위 행동에 대한 제약을 약화시킬 수 있습니다. 따라서 LLM 에이전트 시스템에서 정보 추출과 행동 간의 상태 전송 실패를 인지하고, 상태 보존과 안전 차단기 내포를 분리하는 것이 중요합니다.

절차적 비디오-언어 모델은 행동 인식, 예측, 절차 예측 등 동일한 시각적 증거로부터 이질적인 작업을 해결해야 합니다. 현재의 밀집 트랜스포머 디코더는 모든 작업에 걸쳐 동일한 피드포워드 네트워크를 공유하기 때문에 작업 간의 행동이 얽히고 제어된 능력 확장이 어려워집니다.

희소 혼합 전문가(MoE) 디코더는 조건부 계산을 제공하지만, 토큰 수준으로 학습된 라우팅이 작업 수준의 절차적 목표와 자연스럽게 정렬되지 않는 한계가 있습니다. 이에 연구진은 대규모 언어 모델의 피드포워드 네트워크를 작업별 전문가로 변환하면서 멀티모달 백본은 공유하는 디코더 아키텍처인 MoTE(Mixture of Task Experts)를 제안했습니다.

MoTE는 각 예제가 하나의 샘플 수준 작업 경로를 따르도록 설계되어, 활성화되는 작업-전문가 계산이 저장된 작업 전문가의 수와 독립적으로 유지됩니다. VideoLLM-MoTE로 구현된 이 모델은 다섯 가지 COIN 벤치마크에서 명시적인 작업 경로를 사용하여 평가되었습니다.

이 다섯 전문가 모델은 샘플당 약 20억 개의 LLM 파라미터를 활성화하며 최근 VideoLLM 기준선보다 더 높은 평균 top-1 정확도를 달성했습니다. 또한 동일한 전문가 토폴로지 하에서 밀집한 전체 전문가 활성화 및 학습된 희소 라우팅 제어보다 성능이 향상되었습니다. 이는 작업 구조화된 라우팅이 멀티태스킹 비디오-언어 학습을 위한 해석 가능하고 계산 효율적인 디코더 대안을 제공함을 보여줍니다.

월 액션 모델(WAM)은 관측의 변화를 모델링하여 로봇 제어를 개선하지만, 테스트 시 미래 관측을 생성하는 과정에서 상당한 지연 시간이 발생합니다. 이러한 비효율성을 해결하기 위해 Fast-WAM은 이 과정을 제거하지만, 희소한 로봇 시연이나 분포 외(out-of-distribution) 시나리오에서 미래 인식에 대한 일반화 성능이 미래를 고려하는 대안보다 낮다는 문제가 있습니다.

이러한 격차를 해소하고자 연구진은 **LAWA**라는 WAM 아키텍처를 제안했습니다. LAWA는 미래 관측을 생성하지 않고도 효율적인 테스트 시간 미래 상상(future imagination)을 가능하게 하기 위해, 압축된 잠재 행동(latent actions)을 미래 의도의 작동 표현으로 사용합니다. 구체적으로, 행동 없는 사전 학습으로 향상된 이산 토크나이저를 통해 조작 중심의 코드북 목표를 생성하며, 추론 시 미래 비디오 브랜치를 생략하고 실행 가능한 행동 청크와 연결된 연속 잠재 상태를 정제합니다.

RoboCasa 환경에서 LAWA는 이 목표를 달성했습니다. LAWA는 몇 가지 시연 데이터와 전체 데이터 설정 모두에서 최고 수준의 평균 성공률 65.6%와 80.8%를 달성하며, Fast-WAM 기준 대비 각각 9.6%와 4.5%p 향상되었습니다. 또한 LAWA는 42.9% 낮은 추론 지연 시간을 요구하면서도 일치하는 Joint-WAM 변형 모델의 성능 수준을 유지합니다.

LAWA는 LIBERO-Plus에서 경쟁력 있는 제로샷 견고성을 입증하고 실제 작업에서 우수한 성능을 보여줍니다. 이는 미래 상상을 포기할 필요가 없으며, 압축된 잠재 행동을 통해 성능, 일반화 능력, 지연 시간 사이에 효과적인 균형점을 찾을 수 있음을 시사합니다.

소프트웨어 개발자로서 인공지능(AI)의 급증은 기술적, 철학적 차원에서 강한 우려를 낳고 있습니다. 개발자들은 문제를 해결하는 과정에서 얻는 성취와 즐거움을 중요하게 여기는데, AI가 이러한 독립적인 사고 과정을 대체할 위험이 있다는 점이 핵심적인 문제로 지적됩니다. AI는 단순히 코드를 생성하는 것을 넘어, 개발자가 스스로 문제를 해결하고 사고하는 과정을 생략하게 만들어 인간의 독립적인 사고 능력을 위협할 수 있습니다.

AI 기술은 막대한 에너지와 자원을 소모하며 기후 변화와 같은 환경 문제와 깊이 연결되어 있습니다. 저자는 AI가 자원 소비의 측면에서 인류와 지구 전체가 감당할 수 없는 수준이며, 이는 인간 중심의 경제 시스템이 자연 환경과 자원을 무시하고 효율성과 이윤만을 추구하는 방식으로 설계되었기 때문이라고 주장합니다. 이러한 AI의 발전은 환경 파괴의 근본 원인인 인간의 행위와 밀접하게 연결되어 있습니다.

현대 사회는 협력과 관용 대신 경쟁과 개인적 이익을 우선시하며 권력이 부와 이윤을 추구하는 자들에게 집중되는 방식으로 변화했습니다. 저자는 AI가 이러한 권력 집중의 궁극적인 표현이며, 시장과 세계 질서를 인간 중심이 아닌 이윤 중심으로 재편해야 한다고 강조합니다. 따라서 개발자와 사회는 AI가 초래하는 이러한 모순을 인식하고, 기술의 방향을 재설정하며 생태학적 우선순위를 확보해야 합니다.

비디오 게임 영상은 다양한 환경과 복잡한 상호작용을 제공하여 비디오 월드 모델 훈련을 위한 확장 가능한 데이터 소스를 제공합니다. 하지만 원본 게임 플레이 영상에는 화면 공간 인터페이스가 포함되어 있어 게임 고유의 편향과 관련 없는 동역학이 도입되어 월드 모델 훈련을 방해합니다.

이 문제를 해결하기 위해 연구진은 게임 UI의 접지 및 제거를 형식화하는 전체 스택 프레임워크인 GameUI-Taxonomy와 G2WEngine을 제안했습니다. G2WEngine은 실제 게임 플레이 영상에서 재사용 가능한 UI 에셋을 자동으로 추출하고 깨끗한 영상에 시간적으로 일관성 있는 UI 오버레이를 합성합니다. 이를 통해 303개 게임의 1,079개의 실시간 클립과 96K개의 합성 쌍 비디오로 구성된 Game2World를 구축하여 현실적인 평가를 가능하게 했습니다.

Game2World를 기반으로 제안된 GameCleaner는 멀티모달 의미론적 이해와 비디오 편집 기능을 결합하여 마스크 없는 게임 플레이 UI 제거 모델입니다. 이 모델은 마스크 기반 방법과 달리 배경 장면 내용과 시간적 동역학을 보존하면서 다양한 HUD 요소를 직접 식별하고 제거합니다. UI가 제거된 게임 플레이로 훈련된 월드 모델은 UI가 오버레이된 데이터로 훈련된 모델보다 전체 VideoReward를 6.83% 향상시켰습니다.

UI 제거 평가에서 GameCleaner는 합성 비디오에서 평균 AAR 95.36을 달성했으며, 이는 가장 강력한 시간적 마스크 기준선보다 57.3% 높은 수치입니다. 또한 실시간 평가에서는 배경 보존율 99.8%와 함께 가장 우수한 AAR 80.05를 얻었습니다. 이 결과는 인터넷 게임 플레이 영상을 고품질 월드 모델 훈련 데이터로 변환할 수 있는 확장 가능한 잠재력을 보여줍니다. 관련 코드, 데이터셋, 모델은 GitHub에서 공개되어 있습니다.

모폴로지 변환은 형태 및 마스크 처리를 위한 오랜 도구이지만, 파이썬 생태계의 사실상의 참조 구현체인 scipy.ndimage는 CPU 전용이며 단일 배열로 구성되어 있어 GPU 훈련 루프 내에서 비용이 많이 드는 장치-호스트 왕복 과정 없이 사용하기 어렵습니다. 기존 PyTorch 기반 GPU 비전 라이브러리들은 이러한 연산 중 좁은 범위만 다루며, 일반적으로 두 차원의 공간과 평탄한 구조화 요소로 제한됩니다.

이러한 격차를 해소하기 위해 TorchMorph라는 경량 PyTorch 확장이 발표되었습니다. TorchMorph는 22개의 공개 연산자를 노출하며 이진 모폴로지, 그레이스케일 모폴로지, 거리 변환, 엔트로피 정규화 최적 수송 등 다양한 변환을 포함합니다. 이 모든 연산은 (B, C, Spatial...) CUDA 텐서에 직접 작동하는 융합된 CUDA 커널로 구현되어 최대 여덟 개의 공간 차원을 처리할 수 있습니다.

TorchMorph의 API는 scipy.ndimage와 동일하게 인자별로 설계되어 있어 기존 파이프라인을 쉽게 포팅할 수 있습니다. 성능 측면에서 TorchMorph는 단일 스레드 CPU 참조 대비 그레이스케일 모폴로지에서 최대 1,100배, 정확한 유클리드 거리 변환에서 최대 350배의 처리량을 달성합니다. 또한 Sinkhorn 솔버는 POT 대비 최대 42배 빠르게 실행됩니다.

이진 및 참퍼 연산자는 SciPy의 대응물과 정확히 일치하며, 모든 부동 소수점 연산자는 CPU 참조와 1.8e-6의 절대 오차 이내에서 일치합니다. TorchMorph는 MIT 라이선스로 공개되어 있습니다.

범용 멀티모달 임베딩은 검색, 추천, 분류, 에이전트 시스템 등 다양한 애플리케이션에서 이질적인 콘텐츠를 공유된 공간에 표현할 수 있게 하여 현대 AI 시스템의 핵심 요소가 되고 있습니다. 본 보고서는 텍스트, 이미지, 비디오, 시각 문서 등 다양한 멀티모달 입력을 지원하는 WeMM-Embedding 모델 패밀리를 소개하며, 이는 유연한 출력 차원을 제공합니다.

이 모델 패밀리는 2B, 4B, 9B 변형으로 구성되어 있으며, 대규모 멀티모달 정렬 단계와 정제 단계(큐레이션 데이터, 세밀한 관련성 감독, 스케일 간 지식 전이 사용)의 두 단계로 훈련되었습니다. 광범위한 평가 결과, WeMM-Embedding은 여러 공개 벤치마크에서 선두적인 성능을 달성했습니다. 특히 2B 변형은 MMEB-v2에서 기존 선두 모델인 8B 오픈소스 기준을 능가했으며, 9B 변형은 새로운 최고 점수인 80.6의 전체 점수를 기록했습니다.

또한 WeMM-Embedding은 위챗 애플리케이션 전반에서 강력한 실용적 성능을 입증했습니다. 이는 자체 26개 태스크 벤치마크에서 상당한 개선을 보였으며 14개의 온라인 A/B 테스트에서 일관된 향상을 보였습니다. 이 모델은 위챗 채널, 공식 계정, 모먼트, 전자상거래 서비스를 포함한 추천 및 검색 애플리케이션에 대규모로 배포되었습니다.

연구를 촉진하기 위해 모델 가중치와 코드가 공개되었으며, 자세한 내용은 https://github.com/Tencent/WeMM-Embedding에서 확인할 수 있습니다.

스마트 글래스는 단순한 캡처 및 디스플레이 액세서리를 넘어 인간의 지각, 지속적인 맥락, 그리고 디지털 또는 물리적 행동을 연결하는 일인칭 지능 플랫폼으로 발전하고 있습니다. 이러한 장치는 착용자의 시각, 청각, 움직임, 손-물체 상호작용에 맞춰 신체에 위치하지만, 에너지, 열, 개인 정보 보호, 피드백 제어라는 엄격한 제약 조건 하에서 작동해야 합니다.

최근 증강 현실, 시점 기반 시각, 멀티모달 모델, 그리고 체화된 지능 분야에서 빠르게 발전하고 있음에도 불구하고, 관련 연구는 장치, 작업, 벤치마크에 따라 파편화되어 있습니다. 핵심 과제는 모델이 고립된 상태에서 인식, 답변, 기억, 행동을 수행할 수 있는지 여부가 아니라, 완전한 시스템이 신뢰할 수 있고 시간적으로 유효하며 수정 가능하고 통제 가능한 지각-상태-상호작용-행동 루프를 지속할 수 있는지 여부입니다.

본 연구는 이러한 스마트 글래스를 통일된 프레임워크를 통해 체계적으로 연구하는 최초의 사례입니다. 연구진은 일인칭 데이터 흐름과 제약된 작업 유용성을 정식화하고, 장치의 여덟 가지 검증 가능한 하드웨어 능력 축을 따라 장치를 특성화하며, 캡처, 반응적 지각, 맥락적 지원, 지속적인 상태, 통제된 행동, 체화된 결합을 포괄하는 L0에서 L5까지의 프레임워크를 도입했습니다.

또한 연구는 아홉 가지 응용 시나리오를 통해 작업과 데이터셋, 시스템, 제품, 이해관계자, 실패 결과, 증거 격차를 연결하며, 아홉 차원 배포 프레임워크, 주장 조건화 평가 프로토콜, 그리고 통제된 측정부터 장기적인 현장 검증 및 감사에 이르는 증거 사다리를 제시합니다. 이 모든 요소는 스마트 글래스를 더욱 비교 가능하고 배포 가능하며 재현 가능하게 만들고, 신뢰할 수 있는 일인칭 지능을 향한 로드맵을 제시합니다.

결과 기반 탐색 에이전트는 증거를 검색하는 방법을 학습하지만, 최종 보상은 중간 오류를 국소화하거나 오류가 누적되기 전에 진행 중인 궤적을 수정하지 못하는 한계를 가지고 있습니다. 이 문제를 해결하기 위해 본 연구는 교정 피드백을 학습된 궤적 개입으로 간주하여 에이전트와 비평가 역할을 결합하는 CAFE(Coupled Agent--Feedback Evolution) 프레임워크를 제안합니다. CAFE는 공유 파라미터 모델이 탐색 에이전트와 비평가 역할을 번갈아 수행하도록 설계되었으며, 에이전트의 실패를 기반으로 피드백 조건화 복구를 초기화한 후 온라인 및 오프라인 최적화를 결합합니다.

온라인 강화 학습 과정에서 CAFE는 프롬프트 수준의 호출-건너뛰기 성공 격차를 사용하여 요청 반환을 조정하는 비교 피드백 추정치를 사용하며, 피드백 인식 이점 형성(feedback-aware advantage shaping)을 통해 토큰 이점을 재가중합니다. 또한 오프라인에서는 성공적 및 실패한 궤적을 학습하여 피드백을 학습하는 방식으로 선호도 기반 최적화를 수행합니다.

일곱 가지 에이전트 탐색 벤치마크에서 CAFE는 평가된 강화 학습 기반 탐색 에이전트보다 평균적으로 우수하며, 여섯 가지 도메인 외 벤치마크 전반에서 이 이점을 유지하고 답변 수준의 환각 현상을 감소시킵니다. 단측 제거 분석 결과, 에이전트나 비평가 중 하나만 개선하는 것은 성능이 정체되는 반면, 두 역할을 번갈아 업데이트하는 것이 지속적으로 성능을 향상시킵니다. 이러한 결과는 자기 개선형 탐색 에이전트가 자신이 안내하는 정책과 함께 진화하는 피드백을 필요로 한다는 점을 시사합니다.

자기 개선 LLM 에이전트는 결과물 자체를 정제하는 것이 아니라 그 결과를 도출하는 과정을 개선하는 방식으로 발전하고 있습니다. 기존의 시스템들은 안정성을 유지하기 위해 자체 편집 메커니즘의 일부를 보존해야 했기 때문에, 달성할 수 있는 메타 깊이(meta-depth)는 대략 두 수준으로 제한되었습니다.

이에 따라 연구진은 메타 연산($\Omega$)을 고정하고 입력에 대해 재귀적으로 작동하는 Meta^n을 제시했습니다. 이 $\Omega$ 연산은 자신의 산출물에 반복적으로 적용되며, 아래에 있는 솔버 스택의 흔적과 해당 코드를 읽은 다음, 다음 레이어를 전략적 전처리 및 호출 가능한 도우미 라이브러리로 작성합니다. $\Omega$가 변경되지 않기 때문에 시스템을 불안정하게 만들지 않으며, 입력이 엄격하게 증가함에 따라 각 레이어는 이전 레이어보다 더 높은 관점에서 추론하게 됩니다.

깊이는 미리 고정되는 것이 아니라 수렴을 통해 설정되며, 진화 아카이브는 레이어 체인을 탐색합니다. 이 접근 방식은 두 개의 백본을 통해 Meta^n이 이전의 자기 개선 에이전트들보다 여덟 가지 벤치마크 패밀리 모두에서 더 우수한 성능을 보였습니다. 특히 기술 습득에 저항하도록 구축된 ARC-AGI-2 사례에서 Meta^n은 단독으로 0 이상의 점수를 기록했습니다.

분석 결과에 따르면 재귀를 통해 얻는 대부분의 이득은 각 레이어가 다음 레이어에 전달하는 조건화에서 나오며, 깊이가 증가함에 따라 프롬프트에 의해 명시되지 않았음에도 불구하고 뚜렷한 레이어 역할이 나타납니다. 이 연구는 자기 개선 시스템의 깊이를 확장하고 안정성을 확보하는 새로운 방법을 제시합니다.

확산 모델에서 강화 학습을 사용하여 인간 선호도와 특정 목표에 모델을 정렬할 수 있지만, 최종 보상(endpoint rewards)은 중간 노이즈 제거 예측이 어떻게 변화해야 하는지를 명시하지 못한다는 한계가 있습니다. 이에 연구진은 이미지 수준의 보상 지침을 샘플링된 쿼리에 대한 깨끗한 출력 예측을 위한 명시적인 목표로 변환하는 온-폴리 정책 자기 증류 프레임워크인 DiffusionOPSD를 제안합니다.

DiffusionOPSD는 각 외부 반복에서 고정된 행동 정책이 궤적과 쿼리 상태 및 앵커를 생성하고, 보상 기울기를 사용하여 각 앵커 주변에 유한한 양의 양수 및 음수 목표를 구성합니다. 이후 학습 가능한 정책은 이 목표들을 분리된 감독(detached supervision)으로 적분하여 행동 정책을 업데이트합니다. 이 설정은 목표 구성과 실제 구현을 분리하여 측정할 수 있게 합니다.

실험 결과, 더 큰 목표 구성 이득이 단일 적합 업데이트 후 실제 이득 증가로 반드시 이어지지 않는다는 점을 확인했습니다. 이 방법은 SD 3.5-M 및 Z-Image-Turbo에서 DiffusionNFT 대비 훈련 GPU 시간을 각각 40% 및 63% 절감하며, 가장 강력한 경쟁 방법보다 최대 44.0% 더 나은 성능을 달성했습니다. 이는 이미지 수준의 보상 지침을 명시적이고 지속적으로 새로 고쳐지는 중간 감독으로 변환함으로써 확산 모델의 훈련 후 정렬을 위한 효율적이고 분석 가능한 접근 방식을 제시합니다.

강화 학습과 검증 가능한 보상(RLVR) 및 온-폴리 학습 증류(OPD)는 사전 학습된 대규모 언어 모델을 위한 두 가지 널리 채택된 패러다임입니다. 하지만 RLVR은 희소한 작업 수준 피드백의 한계를 가지며, OPD는 밀도 높은 토큰 수준 지침을 제공하지만 궤적의 정확성을 무시하여 교사 모델의 성능에 국한됩니다. 따라서 이 둘을 결합하는 것이 유망한 방향이지만, 기존의 통합 방식은 가중치 조합이나 휴리스틱 전환에 의존하여 추가적인 하이퍼파라미터와 트레이드오프를 발생시킵니다.

이에 연구진은 하이퍼파라미터를 추가하지 않고 OPD와 RLVR을 원활하게 결합하는 간단하면서도 효과적인 방법인 온-폴리 증류와 검증 가능한 보상(OPDVR)을 제안합니다. 이 방법은 샘플링된 토큰 OPD의 암묵적 보상을 궤적 정확도에 기반하여 재정의하고, ReLU 게이팅 메커니즘을 적용하여 정확한 궤적에는 비음수 보상을, 부정확한 궤적에는 음수 보상을 부여합니다. 이는 증류 신호를 작업 성공과 일치시키면서 교사 모델의 분포적 지침을 보존합니다.

또한, 이 수정은 샘플링된 토큰 OPD를 적절한 RLVR 방법으로 변환하여 GRPO와 같은 모든 정책 경사 알고리즘과 쉽게 결합할 수 있게 합니다. 여섯 가지 추론 벤치마크에 대한 실험 결과, OPDVR은 표준 OPD보다 일관되게 더 우수한 성능을 보였습니다. 관련 코드는 https://github.com/LeapLabTHU/OPDVR에서 확인할 수 있습니다.