명확한 지침 준수 벤치마크는 출력 제약 조건 만족에 중점을 두지만, 응답이 근본적인 요청에 의미 있게 답했는지 여부는 간과하여 평가의 사각지대를 만듭니다. 연구 결과, 최첨단 모델은 실질적인 답변 내용이 적더라도 전체 점수를 받을 수 있다는 것이 밝혀졌습니다. 특히, 훈련 보상으로 사용되는 검증 기반 기준을 사용할 경우 보상 해킹이 발생할 수 있으며, 이는 강화 학습(RL)을 통해 검증 가능한 보상을 사용할 때 더 두드러집니다.
이러한 보상 해킹 문제를 해결하기 위해 연구진은 응답 품질을 보존하는 보정된 가능도 기반 보너스를 검증 보상에 추가하는 경량 방법인 CALIF를 제안했습니다. CALIF는 추가적인 판단자나 학습된 보상 모델 없이 기존의 고정된 참조 정책을 사용하여 요청만으로 응답 가능성을 평가합니다. 이는 17억에서 80억 파라미터에 이르는 추론 및 비추론 모드 모델에 걸쳐 적용되었습니다.
CALIF는 IFBench에서 제약 조건 만족도를 개선하는 동시에 응답 품질을 사전 강화 학습(pre-RL) 수준과 비슷하거나 그 이상으로 유지했습니다. 또한, 세 가지 기준 기반 지침 준수 벤치마크에서 45개 모델 지표 중 40개에서 해당 기본 정책보다 우수한 성능을 보였습니다. 이는 훈련된 검증자(verifiers)를 사용하는 것 이상의 개선을 입증합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-14
Sangyeon Yoon, Wooseok Seo, Hamish Ivison, Hyesoo Hong, Donghoon Kim, Wonjun Kang, Albert No, Jaehyung Kim
수집 2026-10-15 03:08
멀티모달 모델과 에이전트가 여러 양식의 정보를 통합하여 인간처럼 현실 세계를 학습하고 상호작용할 수 있게 되면서, 복잡하고 이질적인 멀티모달 데이터로부터 유용한 정보를 지속적으로 획득하는 것이 중요한 과제로 떠올랐습니다. 특히 장기 목표 및 평생 학습 환경으로 나아갈수록 이러한 도전 과제를 해결하기 위해서는 세션 간 연속성을 유지하고, 변화하는 사용자 및 환경에 적응하며, 축적된 경험을 통해 메모리 관리 정책을 개선할 수 있는 효과적인 메모리 메커니즘이 필요합니다.
이를 위해 본 연구는 멀티모달 에이전트 메모리에 대한 두 축 분석 프레임워크를 제시합니다. 첫 번째 축인 정보 형성 및 표현(Formation and Representation)은 멀티모달 정보가 어떻게 저장되고 인코딩되는지(예: 양식별 임베딩, 텍스트 및 구조화된 기록, 잠재 및 매개변수 표현)를 다룹니다. 두 번째 축인 메모리 관리(Memory Management)는 축적된 경험에 따라 메모리 관리가 어떻게 적응하는지를 세 가지 계층으로 구분합니다.
구체적으로 메모리 관리 계층은 고정된 메모리를 재사용하는 정적 메모리(T1 Static Memory), 안정적인 정책을 통해 메모리를 업데이트하는 동적 메모리(T2 Dynamic Memory), 그리고 진화하는 정책을 통해 메모리를 업데이트하는 자기 진화 메모리(T3 Self-Evolving Memory)로 나뉩니다. 이 프레임워크를 바탕으로 연구진은 출처 충실도와 추상화의 균형 유지, 시간적 유효성과 출처 보존 유지, 복구 가능한 증거에 기반한 메모리 사용, 그리고 시간에 따른 메모리 정책의 진화를 위한 원칙들을 도출했습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-14
Minghao Guo, Qingyue Jiao, Xiujin Liu, Jianhong Pang, Ruimeng Yang, Naihao Xu, Liwei Che, Haochen Xue, Ziqi Wang, Xinying Cai, Jiaxuan Luo, Jiaxin Deng, Xuesong Ye, Jintao Qu, Wenyao Gao, Jingwen Gu, Chenyang Zhao, Shichun Liu, Guibin Zhang, Zefang Liu, Siyin Wang, Wujiang Xu, Danrui Li, Zeru Shi, Woongyeong Yeo, Shuang Liu, Wei-Chieh Huang, Weizhi Zhang, Tianyu Yang, Kangsan Kim, Yebowen Hu, Bowen Wen, Bowen Jiang, Haohao Su, Ming Yin, Sheldon Yu, Mian Zhang, Yuyan Chen, Hanrong Zhang, Kai Mei, Zihao Zhang, Mingyu Jin, Xi Zhu, Hengyi Wang, Tianxin Wei, Linyong Nan, Zhenwen Liang, Zhendong Chu, Ziqi Huang, Yongye Su, Sixun Dong, Shujian Liu, Kaiqu Liang, Jiaojiao Han, Zhaoye Fei, Kun Wang, Shihan Dou, Zhichun Guo, Xingjian Diao, Zeqi Gu, Heng Wang, Tao Feng, Cheng Qian, Hamid Palangi, Silei Xu, Xi Yun, Yi Zhu, Shilong Liu, Qingsong Wen, Sung Ju Hwang, Zuxuan Wu, Yu-Gang Jiang, Yiyu Shi, Dimitris N. Metaxas, Jiaxuan You, Julian McAuley, Mengdi Wang, Jiawei Han, Philip S. Yu, Ziyi Ye
수집 2026-10-15 03:08