텐센트 팀이 Mixture-of-Experts 아키텍처를 기반으로 하는 오픈소스 대규모 언어 모델인 Hunyuan-A13B를 발표했습니다. 이 모델은 총 800억 개의 파라미터를 가지고 있지만 추론 시에는 130억 개의 파라미터만 활성화하여 모델의 성능과 계산 효율성, 배포 비용 사이의 균형을 맞추었습니다.
Hunyuan-A13B는 사실 신뢰도와 추론 능력을 향상시키기 위해 엄격하게 필터링된 20조 토큰 코퍼스를 기반으로 학습되었으며, 고품질 지도 미세 조정과 대규모 강화 학습을 통해 성능이 더욱 향상되었습니다. 특히 이 모델은 작업 복잡도에 따라 추론 깊이를 조정하는 이중 모드 사고의 연쇄 사고(Chain-of-Thought) 프레임워크를 도입하여 일상적인 질의에는 빠른 사고를, 복잡한 다단계 문제에는 느린 사고를 적용할 수 있습니다.
평가 결과에 따르면 Hunyuan-A13B는 수학, 과학, 프로그래밍, 일반 언어 이해 및 에이전트 작업 전반에서 경쟁력 있는 성능을 보이며 훨씬 더 큰 모델에 근접합니다. 또한 높은 추론 처리량 덕분에 지연 시간에 민감한 애플리케이션에 적합하며, 연구와 실용적인 LLM 배포를 지원하기 위해 공개되었습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-09-23
Tencent Hunyuan Team, Ao Liu, Botong Zhou, Can Xu, Chayse Zhou, ChenChen Zhang, Chengcheng Xu, Chenhao Wang, Decheng Wu, Dengpeng Wu, Dian Jiao, Dong Du, Dong Wang, Feng Zhang, Fengzong Lian, Guanghui Xu, Guanwei Zhang, Hai Wang, Haipeng Luo, Han Hu, Huilin Xu, Jiajia Wu, Jianchen Zhu, Jianfeng Yan, Jiaqi Zhu, Jihong Zhang, Jinbao Xue, Jun Xia, Junqiang Zheng, Kai Liu, Kai Zhang, Kai Zheng, Kejiao Li, Keyao Wang, Lan Jiang, Lixin Liu, Lulu Wu, Mengyuan Huang, Peijie Yu, Peiqi Wang, Qian Wang, Qianbiao Xiang, Qibin Liu, Qingfeng Sun, Richard Guo, Ruobing Xie, Saiyong Yang, Shaohua Chen, Shihui Hu, Shuai Li, Shuaipeng Li, Shuang Chen, Suncong Zheng, Tao Yang, Tian Zhang, Tinghao Yu, Weidong Han, Weijie Liu, Weijin Zhou, Weikang Wang, Wesleye Chen, Xiao Feng, Xiaoqin Ren, Xingwu Sun, Xiong Kuang, Xuemeng Huang, Xun Cao, Yanfeng Chen, Yang Du, Zhen Yang, Yangyu Tao, Yaping Deng, Yi Shen, Yigeng Hong, Yiqi Chen
수집 2026-09-24 03:09
비전-언어-행동 모델은 로봇 제어를 위한 강력한 기반을 제공하지만, 대부분의 정책은 현재 관측을 넘어 에피소드 수준의 정보를 보존하고 활용하지 못합니다. 이러한 한계는 과거 관측에 의존하는 역사 의존적 조작 작업에서 특히 문제가 되는데, 과거 정보를 컨텍스트에 유지하면 컨텍스트가 불필요하게 커지고 추론 지연 시간이 증가하는 심각한 비용이 발생합니다.
이에 연구진은 고정 크기의 에피소드 메모리인 MemBodied를 제안하며, 이는 정책 호출 전반의 상호작용을 기록하는 연관 상태(associative state)와 초기 장면의 압축된 표현을 참조로 보존하는 에피소드 앵커(episode anchor)라는 두 가지 구성 요소로 이루어져 있습니다. 모델은 각 정책 호출 시 과거 관측을 직접 사용하는 대신 현재 입력과 메모리 구성 요소를 기반으로 행동 생성을 조건화합니다.
다섯 가지 평가된 메모리 요구 RMBench 작업에서 MemBodied는 상태 없는 정책의 평균 성공률보다 7.81배, 순수한 순환 메모리보다 2.98배 높은 성공률을 달성했습니다. 또한, 가장 강력한 메모리 증강 기준선보다 1.3배 우수하면서도 추가된 파라미터는 10배 적습니다. 완전히 관측 가능한 LIBERO-Long 테스트에서는 90.6%의 성공률을 기록하며 상태 없는 $\pi_0$ 정책보다 5.4% 향상되었습니다.
이러한 결과는 MemBodied가 역사 의존적 조작을 위해 정책 컨텍스트를 확장하는 실용적인 대안임을 뒷받침합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-09-23
Tej Deep Pala, Navonil Majumder, Bryce Goh, Raphael Yee, Jianfei Yang, Liming Chen, Soujanya Poria
수집 2026-09-24 03:09