Andyyyy64/whichllm

whichllm – お使いのハードウェアで実際に動作する最適なLLMを選択

概要 – whichllm は、マシンのCPU、GPU、RAM（またはシミュレートしたいGPU）を検査し、ローカルで快適に動作するHugging Faceモデルのランキングリストを返すコマンドラインツールです。ランキングは、実際のベンチマークスコア、モデルサイズ、量子化、推定生成速度、およびメモリへの適合性に基づいています。

仕組み –

1. NVIDIA/AMD/Apple-SiliconライブラリおよびOSクエリを通じてハードウェアを検出します。
2. Hugging Face APIから最新モデルをクエリし、フォーマット（GGUF, AWQ, GPTQ, FP16/BF16など）でフィルタリングします。
3. 複数の公開リーダーボード（LiveBench, Aider, Chatbot Arena, Open LLM Leaderboard）のベンチマークデータを統合し、自己申告や継承されたスコアに対して信頼性に基づいた割引を適用します。
4. 帯域幅、量子化、およびモデルがGPUで完全に実行されるか、部分的にオフロードされるか、CPUのみで実行されるかに基づいて、VRAM使用量（重み + KVキャッシュ + アクティベーション + フレームワークオーバーヘッド）と1秒あたりのトークン生成速度を推定します。
5. 各候補をスコアリング（0-100）し、テーブル、JSON、またはMarkdownで出力します。

主な機能 –

• あらゆるGPUの自動検出またはシミュレーション（例: --gpu "RTX 4090"）。
• GPU完全適合（--gpu-only）、速度しきい値（--speed usable）、または特定の量子化によるフィルタリング。
• ワンコマンドチャット（whichllm run …）およびコピー＆ペースト可能なPythonスニペット（whichllm snippet …）。
• 計画支援：whichllm plan "llama 3 70b" で必要なGPUを把握し、whichllm upgrade … でハードウェアアップグレードを比較可能。
• 出力形式：プレーンテーブル、GitHubフレーバーMarkdown、または機械可読なJSON。
• キャッシュ付きのライブデータ（モデルリストは6時間、ベンチマークは24時間）。

典型的なワークフロー –

# 現在のマシンに対する推奨事項を素早く取得
whichllm

# 購入前に新しいGPUをシミュレート
whichllm --gpu "RTX 4090"

# お使いの環境に最適なモデルでチャットを開始
whichllm run

# スクリプト用にトップ結果をJSONでエクスポート
whichllm --top 1 --json

重要性 – 多くのツールはVRAMに収まる最大のモデルを選択するだけです。whichllm はさらに一歩進んで、品質（ベンチマークスコア）、新しさ（新しいモデルを優先）、および実用的な速度を評価し、お使いのハードウェアで最高の体験を提供するモデルを提案します。

インストール – uv、brew、または pip を介して利用可能です（例: uvx whichllm@latest）。

---

すべての詳細はプロジェクトのREADMEから引用しており、追加の主張は含まれていません。