vllm-project/aibrix
Cost-efficient and pluggable Infrastructure components for GenAI inference
AIBrix – クイック概要
AIBrix は、大規模言語モデル（LLM）推論を大規模に実行するための オープンソースのクラウドネイティブプラットフォーム です。Kubernetes 上で動作するように構築されており、GenAI サービスのライフサイクル全体（モデルダウンロード、ルーティング、オートスケーリング、障害検出、コストを意識したヘテロジニアス GPU スケジューリング）を処理するコンポーネント群を提供します。
機能
- LLM のデプロイ（LoRA 適用済みバリアントを含む）を Kubernetes リソースとして行います。
- リクエストのルーティング を LLM 対応ゲートウェイを介して適切なモデルレプリカに行います。
- 推論ポッドのオートスケーリング をリアルタイムのトラフィックとサービスレベル目標に基づいて行います。
- KV キャッシュの共有 をノード間で行い、長いコンテキストのプロンプトに対する再計算を削減します。
- GPU 障害の検出 を行い、障害のあるハードウェアをグレースフルに退役させることができます。
- 混合 GPU クラスターのサポート により、低負荷のトラフィックには安価な GPU を、レイテンシが重要なリクエストには高性能 GPU を使用できます。
主要コンポーネント
| コンポーネント | 役割 |
|---|---|
| 統合 AI ランタイム（サイドカー） | メトリクスを標準化し、モデルダウンロードを処理し、軽量な管理 API を提供します。 |
| LLM ゲートウェイとルーティング | クライアント呼び出しのエントリポイントであり、モデルレプリカ間でトラフィックを分散します。 |
| アプリ向けオートスケーラー | Kubernetes HPA を LLM 固有のシグナル（トークンスループット、キューの深さなど）で拡張します。 |
| 分散 KV キャッシュ | ポッド間でアテンションキャッシュを共有し、長いコンテキストの高密度サービスを可能にします。 |
| CRD とオペレーター | オペレーターが調整する宣言的な Kubernetes オブジェクト（例：LLMModel、LLMDeployment）。 |
| GPU 障害検出器 | ハードウェアの健全性を監視し、障害時にポッドの再スケジューリングをトリガーします。 |
想定ユーザー
- エンタープライズ：コストを管理しながら多くの LLM を本番グレードで Kubernetes ネイティブに提供する必要がある企業。
- 研究ラボ：システムレベルの実験用に再現可能でスケーラブルな推論スタックを求める研究機関。
- クラウドプロバイダーまたはプラットフォームチーム：内部ユーザーにマネージド GenAI サービスを提供したいチーム。
はじめに（非常に短い）
# リポジトリをクローン
git clone https://github.com/vllm-project/aibrix.git && cd aibrix
# CRD と依存関係をインストール（ナイトリービルドの例）
kubectl apply -k config/dependency --server-side
kubectl apply -k config/crd --server-side
kubectl apply -k config/default
または、安定版（例：v0.8.0‑rc.1）のリリース済み YAML を使用します。
ドキュメントとコミュニティ
- 完全なドキュメント：https://aibrix.readthedocs.io/latest/
- ブログ、ホワイトペーパー、リリースノートは README からリンクされています。
- コミュニティ Slack：
#aibrix（vLLM 開発ワークスペース経由）。
ライセンス
Apache 2.0 – 商用および学術利用は無料です。
結論： AIBrix は、Kubernetes 上で LLM 推論を実行するために必要な配管をパッケージ化し、モデル管理、ルーティング、オートスケーリング、キャッシュ共有、ハードウェア信頼性をすべて Apache 2.0 ライセンスの下で処理します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト