AlexsJones/llmfit

解決する課題

llmfit は、ユーザーの特定のハードウェアでどのオープンソースの大規模言語モデル（LLM）が快適に実行できるかを判断するのに役立ちます。システムリソースを分析し、利用可能なメモリと予想されるパフォーマンスに基づいてモデルを推奨することで、モデル選択の推測を排除します。

仕組み

このツールは、システムの CPU、RAM、GPU、VRAM、およびアクセラレータ構成（NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI をサポート）を検出します。次に、これらのスペックをモデルのカタログと比較し、パラメータ数、コンテキスト長、および量子化フォーマット（GGUF、AWQ、GPTQ、EXL2 など）を分析します。

パフォーマンスは、ランタイムサンプリングとコミュニティ提供のベンチマークに基づくメモリ帯域幅モデルを使用して推定されます。また、ユーザーは独自のベンチマークを実行して、特定のハードウェアでの実際の1秒あたりのトークン数の測定値に推定値を置き換えることもできます。

対象者

ローカルで LLM を実行したいが、システムをクラッシュさせることなく VRAM/RAM に収まるモデルサイズや量子化レベルがわからない開発者や AI 愛好家。

ハイライト

• ハードウェアの自動検出: macOS、Linux、Windows 間でシステムリソースを自動的に識別します。
• インタラクティブな TUI と Web ダッシュボード: モデルの閲覧とランク付けを行うためのターミナルベースのインターフェースまたは Web ベースのダッシュボードを提供します。
• コミュニティベンチマーク: ユーザーが実際のパフォーマンスを測定し、結果をプロジェクトに還元して、同一ハードウェアを持つ他のユーザーの推定値を改善できるようにします。
• REST API: 他のデプロイメントパイプラインやオーケストレータに統合するための JSON エンドポイントを提供します。
• 幅広いプロバイダのサポート: Ollama、llama.cpp、MLX、LM Studio などのローカルランタイムで動作します。