noonghunna/club-3090

解決する課題

NVIDIA RTX 3090 のようなコンシューマー向けハードウェアで大規模言語モデル (LLMs) を実行することは、メモリ制限、設定のオーバーヘッド、エンジン固有の最適化により複雑になる場合があります。本プロジェクトは、事前に設定およびテスト済みのレシピを提供し、これらのモデルをローカルで簡単にデプロイできるようにすると同時に、特定のハードウェア構成で効率的に動作することを保証します。

仕組み

Docker と NVIDIA Container Toolkit を使用してデプロイ環境を管理します。プロジェクトは、ハードウェアトポロジー（例：シングルカード、デュアルカード、マルチカード）ごとにモデル構成（「slugs」）を整理しています。ユーザーが構成を選択すると、提供されたスクリプトが vLLM、SGLang、または llama.cpp といった高性能推論エンジンを介してモデルのダウンロード、検証、起動を処理します。OpenAI互換APIを公開しているため、既存のLLMツールやインターフェースと統合可能です。

対象ユーザー

NVIDIA RTX 3090（または同等のカード）を所有し、環境設定、量子化、エンジン固有のパフォーマンスのボトルネックのトラブルシューティングに時間をかけすぎることなく、LLMをセルフホストしたい開発者、研究者、愛好家向けです。

ハイライト

• ハードウェア対応レシピ： VRAM使用率と推論速度を最大化するための、1枚、2枚、またはそれ以上のGPU向けの事前テスト済み構成。
• 統合API： OpenAI互換エンドポイントを提供し、ローカルモデルをクラウドベースのLLMサービスのドロップイン代替品にします。
• 広範なベンチマーク： コミュニティによって提供されたパフォーマンス指標（TPS、レイテンシ）と品質チェックの共有データベースが含まれています。
• モジュール設計： 複数の推論エンジン（vLLM、llama.cpp など）をサポートし、デプロイ管理用のターミナルベースのコックピット (c3) を含みます。
• マルチモーダルサポート： チャットモデルと並行して画像、動画、音声生成モデルを実行するためのオプションの "AI Studio" 拡張機能。