멀티모달 모델과 에이전트가 여러 양식의 정보를 통합하여 인간처럼 현실 세계를 학습하고 상호작용할 수 있게 되면서, 복잡하고 이질적인 멀티모달 데이터로부터 유용한 정보를 지속적으로 획득하는 것이 중요한 과제로 떠올랐습니다. 특히 장기 목표 및 평생 학습 환경으로 나아갈수록 이러한 도전 과제를 해결하기 위해서는 세션 간 연속성을 유지하고, 변화하는 사용자 및 환경에 적응하며, 축적된 경험을 통해 메모리 관리 정책을 개선할 수 있는 효과적인 메모리 메커니즘이 필요합니다.
이를 위해 본 연구는 멀티모달 에이전트 메모리에 대한 두 축 분석 프레임워크를 제시합니다. 첫 번째 축인 정보 형성 및 표현(Formation and Representation)은 멀티모달 정보가 어떻게 저장되고 인코딩되는지(예: 양식별 임베딩, 텍스트 및 구조화된 기록, 잠재 및 매개변수 표현)를 다룹니다. 두 번째 축인 메모리 관리(Memory Management)는 축적된 경험에 따라 메모리 관리가 어떻게 적응하는지를 세 가지 계층으로 구분합니다.
구체적으로 메모리 관리 계층은 고정된 메모리를 재사용하는 정적 메모리(T1 Static Memory), 안정적인 정책을 통해 메모리를 업데이트하는 동적 메모리(T2 Dynamic Memory), 그리고 진화하는 정책을 통해 메모리를 업데이트하는 자기 진화 메모리(T3 Self-Evolving Memory)로 나뉩니다. 이 프레임워크를 바탕으로 연구진은 출처 충실도와 추상화의 균형 유지, 시간적 유효성과 출처 보존 유지, 복구 가능한 증거에 기반한 메모리 사용, 그리고 시간에 따른 메모리 정책의 진화를 위한 원칙들을 도출했습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-14
Minghao Guo, Qingyue Jiao, Xiujin Liu, Jianhong Pang, Ruimeng Yang, Naihao Xu, Liwei Che, Haochen Xue, Ziqi Wang, Xinying Cai, Jiaxuan Luo, Jiaxin Deng, Xuesong Ye, Jintao Qu, Wenyao Gao, Jingwen Gu, Chenyang Zhao, Shichun Liu, Guibin Zhang, Zefang Liu, Siyin Wang, Wujiang Xu, Danrui Li, Zeru Shi, Woongyeong Yeo, Shuang Liu, Wei-Chieh Huang, Weizhi Zhang, Tianyu Yang, Kangsan Kim, Yebowen Hu, Bowen Wen, Bowen Jiang, Haohao Su, Ming Yin, Sheldon Yu, Mian Zhang, Yuyan Chen, Hanrong Zhang, Kai Mei, Zihao Zhang, Mingyu Jin, Xi Zhu, Hengyi Wang, Tianxin Wei, Linyong Nan, Zhenwen Liang, Zhendong Chu, Ziqi Huang, Yongye Su, Sixun Dong, Shujian Liu, Kaiqu Liang, Jiaojiao Han, Zhaoye Fei, Kun Wang, Shihan Dou, Zhichun Guo, Xingjian Diao, Zeqi Gu, Heng Wang, Tao Feng, Cheng Qian, Hamid Palangi, Silei Xu, Xi Yun, Yi Zhu, Shilong Liu, Qingsong Wen, Sung Ju Hwang, Zuxuan Wu, Yu-Gang Jiang, Yiyu Shi, Dimitris N. Metaxas, Jiaxuan You, Julian McAuley, Mengdi Wang, Jiawei Han, Philip S. Yu, Ziyi Ye
수집 2026-10-15 03:08
반복적인 이벤트 예측은 노이즈가 많은 증거에서 예측 신호를 추출하고 연속적인 결정에 걸쳐 그 가치를 평가하는 것을 요구합니다. 이에 연구진은 일본 경마의 역사적 데이터를 통해 이러한 문제를 연구하는 벤치마크 및 평가 프로토콜인 JockeyBench를 소개합니다. 이 프로토콜은 시간 제한 증거, 가격이 매겨진 도구, 쌍으로 고정된 프로그램 제어, 그리고 LLM 기반 예측기 실행 또는 새로운 경주별 LLM 예측을 위한 증거 획득이라는 두 가지 워크플로우를 결합합니다.
평가는 예측 품질, 벤치마크별 순이익, 그리고 고정된 결정 규칙 하에서의 회고적 베팅 수익과 위험을 분리하여 측정합니다. 324경주에 대해 28가지 모델-스캐폴드 구성으로 쌍별 테스트를 진행한 결과, 다중 테스트 보정을 거친 후 일곱 가지 수정 이득과 두 가지 감소가 확인되었습니다. 하지만 모든 구성은 캡-켈리 정산 하에서 평균 수익이 마이너스였습니다.
네 가지 모델 비교에서 재사용 가능한 프로그램 워크플로우가 더 높은 평균 베팅 수익과 낮은 연구 비용을 보였으나, 두 워크플로우 모두 평균적으로 손실을 기록했습니다. 추가 진단 결과, 선택된 베팅에 따라 평균 확률 편향이 역전되며 수익성 있는 개별 경주가 집중된 수익에 의존할 수 있다는 점이 밝혀졌습니다. 이러한 발견은 반복적인 이벤트 예측 에이전트를 평가할 때 예측 능력, 적응력, 자원 사용, 그리고 결정 가치를 개별적으로 평가해야 할 필요성을 제기합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-14
Zhongwei Xie, Xingsu Li, Jingqiao Yu, Zihao Wang, Hong ChiTat, Zhaowei Wang, Weizhi Du, Yuxuan Liu, Huihao Jing, Jiaxin Bai, Yangqiu Song
수집 2026-10-26 15:55
인스트럭션 기반 이미지 편집에서 슬라이더 기반 제어는 사용자가 개별 편집의 강도를 연속적이고 세밀하게 조절할 수 있도록 하는 것을 목표로 합니다. 그러나 기존 접근 방식들은 신뢰할 수 있는 연속적 제어를 제공하지 못하며, 슬라이더를 이동할 때 시각적 점프나 비단조적인 변화가 발생하고, 동시에 제어되는 슬라이더들이 서로 간섭하는 문제가 있었습니다.
이러한 한계를 체계적으로 연구하기 위해 다양한 편집 범주를 포괄하는 연속 이미지 편집 벤치마크인 SlideBench를 도입하여 단조로운 진행, 지각적 연속성, 슬라이더 간 분리도를 측정하는 통합된 지표를 제공했습니다. 이를 바탕으로 본 연구는 편집 경로의 중간 구간을 명시적으로 정규화하는 SliderEdit++를 제안합니다.
SliderEdit++는 속도 공간 및 의미 공간에서의 궤적 정규화와 스펙트럼 제어를 결합하여 부드럽고 예측 가능한 슬라이더 이동을 유도하며, 독립적으로 제어되는 편집 간의 간섭을 줄이는 분리도 목표를 추가합니다. SlideBench에서 SliderEdit++는 가장 강력한 기준 모델 대비 전체 점수를 18.5% 향상시키며 최고 성능을 달성했습니다.
또한, 소수의 단계 편집 백본을 사용하여 이 방법은 기존 슬라이더 기반 접근 방식보다 약 3배에서 20배 더 빠른 속도를 제공하여 훨씬 더 반응성이 뛰어난 상호작용 편집을 가능하게 합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-14
Arman Zarei, Sayan Nag, Bryan Wang, Franck Dernoncourt, Varun Manjunatha, Nedim Lipka, Soheil Feizi, Samyadeep Basu
수집 2026-10-26 08:50
음악 소스 분리(MSS)는 전통적으로 판별적 방법으로 해결되어 왔습니다. 최근에는 복잡한 데이터 분포를 모델링하는 강력한 생성 패러다임인 플로우 매칭(flow matching)이 다양한 분야에서 성공적인 적용을 보이며 주목받고 있습니다. 이러한 발전은 플로우 매칭을 MSS에 체계적으로 적용하여 네 가지 소스(보컬, 베이스, 드럼, 기타)를 풀밴드 스테레오 환경에서 분리하는 연구를 촉발했습니다.
연구진은 특히 예측 목표, 플로우 경로, 단일 소스 대 다중 소스 모델링, 그리고 혼합 일관성 제약 조건 등을 조사했습니다. 또한, 일반적인 MSS에 사용되는 신호 수준 지표인 신호 대 왜곡비 외에도 임베딩 기반 지표와 청취 테스트를 사용하여 포괄적인 벤치마크를 제공했습니다.
제안된 모델은 MUSDB18-HQ 데이터셋에서 객관적 및 주관적 테스트 모두에서 경쟁력 있는 성능을 보였습니다. 이는 생성적 MSS에서 플로우 매칭이 가진 잠재력을 강조하며, 새로운 생성 모델을 활용한 음악 분리 분야의 가능성을 제시합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-14
Shuyang Cui, Zhi Zhong, Keisuke Toyama, Koichi Saito, Qiyu Wu, Yukara Ikemiya, Junghyun Koo, Kin Wai Cheuk, Woosung Choi, Giorgio Fabbro, Wei-Hsiang Liao, Shusuke Takahashi, Yuki Mitsufuji
수집 2026-10-26 03:46