ローカルLLM選択の最適化：whichllmの詳細分析

ローカルの大規模言語モデル（LLM）を選択することは、しばしば当て推量ゲームのように感じられます。ほとんどのユーザーは「VRAMに収まる最大のモデル」というヒューリスティックの罠にハマりがちで、モデルがVRAMに収まれば自動的に最適な選択だと考えてしまいます。しかし、エコシステムが進化するにつれ、より新しく小型のモデルが古い大型モデルをしばしば上回り、量子化レベルは品質と速度の両方に大きく影響します。

whichllm はこのギャップを埋めるために設計されたコマンドラインツールです。単純なサイズヒューリスティックに頼るのではなく、システムハードウェアを自動検出し、実際のベンチマーク、最新性、ハードウェア互換性に基づいてモデルをランク付けします。このアプローチにより、ローカルLLMの導入プロセスは試行錯誤から証拠に基づく意思決定へと変わります。

「何が収まるか？」という考え方を超えて

whichllm の根本的な哲学は、モデルをVRAMに収めることは簡単な部分であり、収まったモデルの中で実際に最も性能が高いものを見極めることが難しいという点です。この目的のために、ツールは複数の高度なランク付けメカニズムを実装しています：

証拠に基づくランク付け

静的なリストではなく、whichllm は LiveBench、Artificial Analysis、Aider、Chatbot Arena ELO、Open LLM Leaderboard など、複数の高信号ソースからデータを集約します。「ベンチマークゲーム」や古いデータの使用を防ぐため、ツールは新しさを考慮したシステムを採用し、モデル系統に沿って古いリーダーボードの評価を下げます。

信頼度に応じたスコアリング

Direct: 正確なモデルIDの一致（最高の信頼度）。
Variant: サフィックス除去または指示バリアント。
Base: 基本モデルから継承。
Interpolated: モデルファミリー内でサイズを考慮した補間。
Self-reported: アップローダーが主張する評価（大幅に割引）。

アーキテクチャ対応VRAM推定

メモリ推定は単純な重み計算を超えます。ツールは以下を考慮してVRAM要件を算出します：

Model Weights: パラメータ数と量子化レベルに基づく。
KV Cache: GQA（Grouped-Query Attention）と活性化オーバーヘッド。
Framework Overhead: 推論エンジン用のベースラインバッファ（約500MB）。

主な機能とワークフロー

whichllm はスクリプト化可能で既存のワークフローに統合できるよう設計されています。主な機能は次のとおりです：

Hardware Simulation: ユーザーは特定のGPUをシミュレートして将来の購入計画を立てられます（例：whichllm --gpu "RTX 4090"）。
Reverse Lookup: plan コマンドで特定のモデルに必要なハードウェアを判定できます（例：whichllm plan "llama 3 70b"）。
Instant Execution: run コマンドは uv を用いて隔離環境を作成し、最適なGGUFバリアントをダウンロードしてすぐにチャットセッションを開始します。
Developer Snippets: snippet コマンドは llama-cpp-python または transformers を使用したすぐに実行可能なPythonコードを生成し、アプリケーションへの統合を容易にします。

コミュニティの視点と技術的批評

ツールはその有用性で好評を得ていますが、Hacker News コミュニティはローカルLLMのオーケストレーションの複雑さを示すいくつかの重要な技術的指摘を挙げました。

「ベスト」ジレンマ

「ベスト」なモデルは「VRAMに収まるもの」ではありません。小さなCPU専用モデルでも多くの有用なことができます…モデルが特定のタスクに適しているかどうかを知る唯一の方法は、自分で試すことです。

ハードウェアのエッジケース

ユーザーはハードウェア検出のギャップ、特に統合メモリアーキテクチャに関して指摘しました。例えば、@cyanydeez は一部の AMD GPU を搭載した Linux 環境では、ツールが利用可能な統合メモリ全体ではなく予約済みメモリのみを検出することがあると述べており、これは nvtop さえも苦労する一般的な問題です。

パフォーマンスのニュアンス

複数のユーザーは、単一の速度指標（トークン/秒）だけでは不十分であることを強調しました。KV キャッシュの量子化、バッチ並列性、長いコンテキストウィンドウが生成速度に与える影響などの要素が、初期ベンチマークに関係なくパフォーマンスを大幅に低下させる可能性があります。

スコアリングロジックの概要

透明性のあるランク付けを提供するために、whichllm は重み付けされたスコアリングシステム（0-100）を使用します：

要素	効果	説明
Benchmark Quality	Core	複数のリーダーボードの加重マージ
Model Size	最大 +35	$\log_2$ スケールの世界知識の代理指標
Quantization	Penalty	低ビット量子化に対する乗算的割引
Evidence Confidence	$\times 0.55–1.0$	ソースの信頼性に基づく割引
Runtime Fit	$\times 0.50–1.0$	CPUのみまたは部分的オフロードに対するペナルティ
Speed	$\pm 8$	使いやすさの閾値に基づく調整
Source Trust	$\pm 5$	公式組織へのボーナス

ハードウェア検出と動的な証拠ベースのランク付けエンジンを組み合わせることで、whichllm は分散したローカルLLMの風景を体系的にナビゲートする手段を提供し、コミュニティをモデル選択の標準化された手法に近づけます。