whichllm - 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기
**whichllm: 하드웨어에 최적화된 로컬 LLM 자동 추천 도구**
* **무엇이 일어났는지**
`whichllm`은 사용자의 하드웨어(GPU, CPU, RAM)를 자동으로 감지하여 HuggingFace 모델 중 실제로 해당 시스템에서 최고 성능을 내고 구동 가능한 로컬 LLM을 실측 벤치마크 기반으로 추천하는 CLI 도구입니다.
* **왜 중요한지**
단순히 파라미터 수에 의존하는 것이 아니라, LiveBench, Chatbot Arena ELO 등 다중 벤치마크를 통합하여 모델의 실제 성능을 평가하고, 최신 모델 인식 및 아키텍처 인식을 통해 사용자가 자신의 하드웨어에서 가장 효율적이고 최고 성능을 내는 LLM을 찾도록 돕습니다.
* **주의할 점 또는 맥락**
이 도구는 NVIDIA, AMD, Apple Silicon, CPU-only 환경을 모두 지원하며, GGUF, AWQ 등 다양한 포맷을 지원합니다. 또한, GPU 시뮬레이션이나 특정 모델에 필요한 하드웨어 역방향 조회 등 하드웨어 플래닝 명령을 제공하여 구매 전 확인이나 최적화에 활용할 수 있습니다.
* **무엇이 일어났는지**
`whichllm`은 사용자의 하드웨어(GPU, CPU, RAM)를 자동으로 감지하여 HuggingFace 모델 중 실제로 해당 시스템에서 최고 성능을 내고 구동 가능한 로컬 LLM을 실측 벤치마크 기반으로 추천하는 CLI 도구입니다.
* **왜 중요한지**
단순히 파라미터 수에 의존하는 것이 아니라, LiveBench, Chatbot Arena ELO 등 다중 벤치마크를 통합하여 모델의 실제 성능을 평가하고, 최신 모델 인식 및 아키텍처 인식을 통해 사용자가 자신의 하드웨어에서 가장 효율적이고 최고 성능을 내는 LLM을 찾도록 돕습니다.
* **주의할 점 또는 맥락**
이 도구는 NVIDIA, AMD, Apple Silicon, CPU-only 환경을 모두 지원하며, GGUF, AWQ 등 다양한 포맷을 지원합니다. 또한, GPU 시뮬레이션이나 특정 모델에 필요한 하드웨어 역방향 조회 등 하드웨어 플래닝 명령을 제공하여 구매 전 확인이나 최적화에 활용할 수 있습니다.