noonghunna/club-3090

何を解決するか

club-3090 は、NVIDIA RTX 3090 GPU 上で大規模言語モデル（LLM）をローカルに実行するための検証済みの「レシピ」（Docker Compose 設定）とツールを提供します。GPU の数（単一または二重 3090）やさまざまな推論エンジンに応じた検証済みの設定により、VRAM の制限でクラッシュすることなく、スループットやコンテキスト長を最大限に引き出すことが可能になります。

動作方法

このプロジェクトは、モデルに依存しないスクリプトと Docker Compose ファイルのフレームワークを使用して LLM をデプロイします。vLLM、llama.cpp、ik_llama などの複数の推論エンジンをサポートしています。

• デプロイフロー：ユーザーは CLI ウィザード（launch.sh）またはターミナル UI コックピット（c3）を使用して、モデルと設定のバリエーション（例：高スループットの二枚カード構成、堅牢な単一カード構成）を選択できます。
• ハードウェア対応：ツールは VRAM の予算を予測し、利用可能な GPU 数に基づいて実行可能な設定をフィルタリングします。
• 検証：bench.sh と quality-test.sh というベンチマークと品質テストのスイートにより、モデルが正しく動作し、さまざまなプロンプトやコンテキスト長でパフォーマンスを維持しているかを検証します。
• ユニバーサルプル：pull ユーティリティは HuggingFace safetensors リポジトリを評価し、モデルが利用可能なハードウェアに収まるかどうかを判断します。

対象ユーザー

• 1 または 2 枚の RTX 3090（または 4090/5090）を持っているホメラブ愛好家や開発者で、現代の LLM をローカルで実行したい人。
• スタビリティを求めるユーザーで、長文プロンプトでの「プレフィル崖」（OOM クラッシュ）を避け、検証済みの OpenAI 互換 API エンドポイントが必要な人。

主な特徴

• マルチエンジン対応：vLLM（最大スループット）、llama.cpp（最大の堅牢性/コンテキスト）、ik_llama（最適化された GGUF 量子化）の検証済みレシピ。
• Llamaスタイルの TUI：キーボード駆動のターミナル UI（c3）でモデルの発見、実行、監視が可能。
• 詳細なベンチマーク：スループット（TPS）と動作品質テストのための組み込みツール。
• ハードウェア固有のレシピ：単一カード（最大 200K コンテキスト）および二枚カード（最大 262K コンテキスト）向けの特定設定。
• クロスリグ診断：レポートツール（report.sh）により、トラブルシューティング用に赤色化・コピー可能なハードウェアとスタックレポートを生成します。