Andyyyy64/whichllm

whichllm – 하드웨어에서 실제로 실행되는 최적의 LLM 선택

기능 – whichllm은 머신의 CPU, GPU, RAM(또는 시뮬레이션하려는 GPU)을 검사하여 로컬에서 원활하게 실행될 Hugging Face 모델의 순위 목록을 반환하는 명령줄 도구입니다. 순위는 실제 벤치마크 점수, 모델 크기, 양자화, 예상 생성 속도 및 메모리 적합성을 기반으로 합니다.

작동 원리 –

1. NVIDIA/AMD/Apple-Silicon 라이브러리 및 OS 쿼리를 통해 하드웨어를 감지합니다.
2. Hugging Face API에서 최신 모델을 쿼리하고 형식(GGUF, AWQ, GPTQ, FP16/BF16 등)별로 필터링합니다.
3. 여러 공개 리더보드(LiveBench, Aider, Chatbot Arena, Open LLM Leaderboard)의 벤치마크 데이터를 통합하고, 자체 보고되거나 상속된 점수에 대해 신뢰도 기반의 할인을 적용합니다.
4. 대역폭, 양자화, 모델이 GPU에서 완전히 실행되는지, 부분적으로 오프로드되는지, CPU 전용인지에 따라 VRAM 사용량(가중치 + KV 캐시 + 활성화 + 프레임워크 오버헤드)과 초당 토큰 생성 속도를 추정합니다.
5. 각 후보 모델의 점수(0-100)를 매기고 테이블, JSON 또는 Markdown으로 출력합니다.

주요 특징 –

• 모든 GPU 자동 감지 또는 시뮬레이션(예: --gpu "RTX 4090").
• GPU 완전 적합(--gpu-only), 속도 임계값(--speed usable) 또는 특정 양자화별 필터링.
• 원커맨드 채팅(whichllm run …) 및 바로 복사 가능한 Python 스니펫(whichllm snippet …).
• 계획 도우미: whichllm plan "llama 3 70b"로 필요한 GPU를 확인하고, whichllm upgrade …로 하드웨어 업그레이드를 비교.
• 출력 형식: 일반 테이블, GitHub 스타일 Markdown 또는 기계 판독 가능한 JSON.
• 캐시가 포함된 실시간 데이터(모델 목록 6시간, 벤치마크 24시간).

일반적인 워크플로우 –

# 현재 머신에 대한 빠른 추천 확인
whichllm

# 구매 전 새 GPU 시뮬레이션
whichllm --gpu "RTX 4090"

# 장비에 가장 적합한 모델로 채팅 시작
whichllm run

# 스크립트용으로 상위 결과를 JSON으로 내보내기
whichllm --top 1 --json

중요성 – 많은 도구는 단순히 VRAM에 맞는 가장 큰 모델을 선택합니다. whichllm은 한 걸음 더 나아가 품질(벤치마크 점수), 최신성(새로운 모델 우선), 실제 속도를 평가하여 하드웨어에서 최고의 경험을 제공할 모델을 제안합니다.

설치 – uv, brew 또는 pip를 통해 설치 가능합니다(예: uvx whichllm@latest).

---

모든 세부 정보는 프로젝트의 README에서 가져왔으며, 추가적인 주장은 포함되지 않았습니다.