WaveSpeedAI/waverless

何を解決するか

Waverless は、さまざまなコンピューティングプロバイダー間で AI タスクを効率的に実行するための高性能なサーバーレス GPU タスクオーケストレーションシステムです。スマートな自動スケーリングにより、GPU ワーカーへのタスクの効率的な配分、ロードバランシング、リソース最適化を実現します。

動作方法

このシステムはプルベースのアーキテクチャを採用しており、ワーカーが中央の API サーバーからタスクを積極的に取得します。このサーバーはタスクキュー、ワーカー管理、およびキューの深さとリソース要件を監視するオートスケーラーを管理します。Kubernetes、Docker、Novita Serverless などの複数のバックエンドをサポートし、Redis と MySQL を使って状態管理を行います。

対象ユーザー

スケーラブルでサーバーレスな GPU インフラを必要とする AI モデルを展開する開発者や組織向けです。需要の変動に応じて手動での介入なしに処理を自動的に調整できます。

主な特徴

• プルベースアーキテクチャ: タスクをプッシュするのではなく、ワーカーがタスクをプルすることで、ロードバランシングを改善します。
• マルチプロバイダー対応: Kubernetes、Docker、Novita Serverless に対応しています。
• RunPod互換性: runpod-python SDK からのゼロコード移行が可能。
• スマートな自動スケーリング: 優先度、リソース認識、キューの深さに基づいてスケーリングします。
• スムーズなシャットダウン: ローリングアップデート中にタスクが失われることはありません。