WaveSpeedAI/waverless

解決的問題

Waverless 是一個高性能的無伺服器 GPU 任務編排系統，專為跨多個運算提供者管理 AI 工作負載的執行而設計。它透過智慧自動擴展，解決了將任務高效分配至 GPU 工作節點的問題，確保負載平衡與資源最佳化。

運作方式

此系統採用拉取式架構，工作節點主動向中央 API 伺服器請求任務。該伺服器負責管理任務佇列、工作節點管理，以及監控佇列深度與資源需求的自動擴展器。支援多種後端部署方式，包括 Kubernetes、Docker 與 Novita Serverless，並整合 Redis 與 MySQL 進行狀態管理。

適用對象

專為需要可擴展、無伺服器 GPU 基礎設施，以應對波動性需求而無需手動介入的 AI 模型開發者與組織所設計。

主要特色

• 拉取式架構：透過允許工作節點主動拉取任務，而非被動接收推送，提升負載平衡能力。
• 多提供者支援：相容 Kubernetes、Docker 與 Novita Serverless。
• RunPod 相容性：支援從 runpod-python SDK 零程式碼遷移。
• 智慧自動擴展：根據優先順序、資源感知與佇列深度進行動態擴展。
• 平順關閉：確保滾動更新期間任務不會遺失。