Qwen 3.8 27B is excellent, but it defaults to overthinking things
알리바바 퀘원 연구소에서 출시한 Apache 2 라이선스의 27B 파라미터 비전 지원 LLM인 Qwen 3.8이 공개되었습니다. 이 모델은 합리적인 사양의 노트북에서 실행하기에 적절한 크기이며, 이전 모델인 Qwen 3.6 27B보다 향상된 벤치마크 결과를 보였습니다.
하지만 이 모델은 추론 과정에서 지나치게 많은 생각을 하는 기본 설정으로 인해 예상치 못한 결과를 초래한다는 점이 주목받고 있습니다. Qwen의 문서는 추론 노력에 대해 xhigh(기본값), medium, low 세 가지 수준을 제공하는데, 기본 설정인 xhigh는 복잡한 작업에 대해 과도한 분석을 수행하는 경향이 있습니다.
작성자는 이 기본 설정이 소비자 하드웨어에서 모델을 실행할 때 좋지 않은 시작점이라고 지적하며, 컨텍스트 길이 제한을 늘려 실험했을 때 모델이 단순한 요청에도 복잡한 SVG 이미지를 생성하는 등 부자연스러운 결과를 보였습니다. 따라서 사용자는 Qwen 3.8 27B를 실행할 때 추론 수준을 낮게 설정하거나 아예 비활성화하여 실행하는 것을 권장합니다.
이러한 실험은 17GB 파일 크기로 장거리 컨텍스트, 강력한 비전 능력, 코드 생성 능력을 갖춘 오픈 웨이트 모델이 로컬 기기에서 실행될 수 있음을 입증합니다. 이는 고성능 데이터센터 하드웨어 없이도 충분히 유능한 모델을 구동할 수 있다는 점에서 로컬 LLM의 발전과 효율성에 중요한 시사점을 제공합니다.
하지만 이 모델은 추론 과정에서 지나치게 많은 생각을 하는 기본 설정으로 인해 예상치 못한 결과를 초래한다는 점이 주목받고 있습니다. Qwen의 문서는 추론 노력에 대해 xhigh(기본값), medium, low 세 가지 수준을 제공하는데, 기본 설정인 xhigh는 복잡한 작업에 대해 과도한 분석을 수행하는 경향이 있습니다.
작성자는 이 기본 설정이 소비자 하드웨어에서 모델을 실행할 때 좋지 않은 시작점이라고 지적하며, 컨텍스트 길이 제한을 늘려 실험했을 때 모델이 단순한 요청에도 복잡한 SVG 이미지를 생성하는 등 부자연스러운 결과를 보였습니다. 따라서 사용자는 Qwen 3.8 27B를 실행할 때 추론 수준을 낮게 설정하거나 아예 비활성화하여 실행하는 것을 권장합니다.
이러한 실험은 17GB 파일 크기로 장거리 컨텍스트, 강력한 비전 능력, 코드 생성 능력을 갖춘 오픈 웨이트 모델이 로컬 기기에서 실행될 수 있음을 입증합니다. 이는 고성능 데이터센터 하드웨어 없이도 충분히 유능한 모델을 구동할 수 있다는 점에서 로컬 LLM의 발전과 효율성에 중요한 시사점을 제공합니다.