runpod-workers/worker-vllm

What it solves

Runpod Serverless 上で高性能な大規模言語モデル（LLM）エンドポイントのデプロイを簡素化します。サーバーレス環境向けに vLLM 推論エンジンを手動で設定する必要がなく、OpenAI API と完全互換の即使用可能なワーカーを提供します。

How it works

本プロジェクトは vLLM 推論エンジンをラップした Docker ベースのワーカーを提供します。ユーザーは 2 通りの方法でデプロイできます：事前構築済みイメージを使用し、MODEL_NAME や QUANTIZATION といった環境変数でモデルを設定する方法、またはモデルウェイトを組み込んだカスタム Docker イメージをビルドして起動時間を短縮する方法です。環境変数を通じて様々な vLLM エンジン引数を指定でき、config.yaml ファイルでも設定可能です。デプロイ後は OpenAI 互換の API を公開し、既存の OpenAI のベース URL と API キーを Runpod エンドポイントに差し替えるだけで利用できます。

Who it’s for

サーバーレスインフラ上で自分のオープンソース LLM を最小限の設定でホストしたい、開発者や AI エンジニア向けです。既存の OpenAI ベースのコードベースとの完全な互換性が求められます。

Highlights

• OpenAI Compatibility：Chat Completions、Models、Responses、Messages のルートをサポートし、ストリーミングと非ストリーミングの両方に対応。
• Flexible Deployment：迅速なセットアップ向けの事前構築イメージと、ロード時間最適化のために「ベイクイン」されたモデルイメージの両方を提供。
• Deep vLLM Integration：環境変数から AsyncEngineArgs を自動検出・適用し、vLLM の全設定オプションにフルアクセス可能。
• Broad Model Support：Hugging Face 上の vLLM エンジンがサポートするあらゆるモデルアーキテクチャに対応。