WaveSpeedAI/waverless

解决的问题

Waverless 是一个高性能的无服务器 GPU 任务编排系统，旨在跨多种计算提供商管理 AI 工作负载的执行。它通过智能自动扩缩容，解决了高效分配任务到 GPU 工作节点的问题，确保负载均衡和资源优化。

工作原理

该系统采用拉取式架构，工作节点主动从中央 API 服务器请求任务。该服务器负责管理任务队列、工作节点管理以及监控队列深度和资源需求的自动扩缩容器。它支持多种后端部署方式，包括 Kubernetes、Docker 和 Novita Serverless，并集成 Redis 和 MySQL 用于状态管理。

适用人群

专为需要可扩展、无服务器 GPU 基础设施以应对波动性需求而无需手动干预的 AI 模型开发者和组织设计。

主要亮点

• 拉取式架构：通过允许工作节点主动拉取任务，而非被动接收推送，提升负载均衡能力。
• 多提供商支持：兼容 Kubernetes、Docker 和 Novita Serverless。
• RunPod 兼容性：支持从 runpod-python SDK 零代码迁移。
• 智能自动扩缩容：基于优先级、资源感知和队列深度进行动态扩缩容。
• 优雅关闭：确保滚动更新期间任务不会丢失。