vllm-project/recipes
Common recipes to run vLLM
vLLMは大規模AIモデルを実行するためのエンジンです。このプロジェクトは、「特定のハードウェアYで、特定のタスクZのために、モデルXをどのように実行すればよいか?」という実用的な疑問に答えるためのものです。例えば、チャット用にNVIDIA GPUでDeepSeek-V3を実行する方法や、画像認識用にQwen3を実行する方法などが挙げられます。
このリポジトリは、それらの指示の中心的なハブです。各指示はレシピと呼ばれ、特定のハードウェア上で特定のユースケースのために特定のモデルを実行する最良の方法を記述した構造化ファイルです。
仕組み
レシピ自体は、各モデルを最もよく知るチームによって作成・保守されています(例えば、DeepSeekのレシピはDeepSeekチーム自身が保守しています)。これらのレシピはここではなく、他のリポジトリに存在します。このリポジトリの役割は以下の通りです:
- 各リポジトリからレシピファイルを取得する
- それらを統合する
- それらを検証する
- 公開ウェブサイト recipes.vllm.ai とそのJSON APIを構築する
新聞の編集部を想像してください。記事は各都市の専門家によって書かれ、このリポジトリはそれらを収集、チェック、印刷する編集室のようなものです。
自動更新
バックグラウンドプロセスが20分ごとにレシピソースの変更を確認します。変更があれば新しいコンテンツを検証し、自動的にサイトを更新します。検証に失敗した場合、サイトは最後に成功したバージョンを提供し続け、何も壊れることはありません。同時に、問題を報告するためにGitHubでIssueが作成されます。
出所と信頼性
各レシピページには、そのファイルを所有するリポジトリへの「レシピを編集」リンクが含まれています。すべてのレシピデータには、元のリポジトリ、コミット、ファイルパスを特定するメタデータが含まれているため、いつでもコマンドを元のソースまで追跡できます。
貢献の分担
このプロジェクトでは責任が分担されています:
- モデルレシピ(「DeepSeek-V3の実行方法」など)はvLLMプロジェクトとvLLM-Omniプロジェクトが所有
- スキーマ、ハードウェアプロファイル、サービング戦略、プラットフォーム定義はここが所有
- ウェブサイトのビルド、JSON API、コマンド合成はここが所有
ローカル開発
開発者は、このリポジトリをソースリポジトリのローカルチェックアウト(sources.local.yamlファイル経由)に向け、同期、検証、アセンブルのコマンドを実行することで、ローカルで変更をプレビューできます。
レガシーコンテンツ
古いMarkdownガイドファイル(DeepSeek/やQwen/などのフォルダ内)も存在します。これらは以前のドキュメントサイトからのもので、プロジェクトが新しいYAMLベースのレシピ形式に移行する間、参照用として保持されています。
ライセンス
Apache License 2.0。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト