gpustack/gpustack

解決する課題

GPUStackは、AIモデルサービングのためのGPUリソース管理を簡素化します。オンプレミスサーバー、クラウドプロバイダー、Kubernetesクラスターといった多様なハードウェア環境を、AIモデルのデプロイとスケーリングのための統合プラットフォームとしてオーケストレーションする複雑さを解消します。

仕組み

GPUStackは、GPU対応のワーカーノードに接続する中央管理レイヤーとして機能します。vLLM、SGLang、TensorRT-LLMなどの高性能推論エンジンを自動的に構成し、モデルを効率的に実行します。このプラットフォームには、GPUにワークロードを割り当てて稼働率を最大化するスケジューラーが含まれており、デプロイされたモデルと対話するための標準APIを提供します。また、統合されたダッシュボードを通じてシステムの健全性とパフォーマンスを監視します。

対象ユーザー

異種混合インフラストラクチャ全体で「Model-as-a-Service」を大規模に提供する必要がある開発チーム、IT組織、サービスプロバイダー向けに設計されています。

ハイライト

• オンプレミス、クラウド、Kubernetes環境にまたがるマルチクラスター管理。
• vLLM、SGLang、カスタムエンジンをサポートするプラグイン可能な推論エンジンアーキテクチャ。
• 推測デコードと高度なKVキャッシュをサポートするパフォーマンス最適化構成。
• 開発やファインチューニングのための、SSHアクセス可能なGPUインスタンスのオンデマンドプロビジョニング。
• ロードバランシング、自動障害復旧、詳細なトークン使用量計測を含むエンタープライズグレードの機能。
• NVIDIA、AMD、Ascend、その他いくつかの特殊なGPU/NPUアクセラレータを含む幅広いハードウェアサポート。