WaveSpeedAI/waverless

해결하는 문제

Waverless는 다양한 컴퓨팅 프로바이더를 통해 AI 워크로드를 실행하는 데 사용되는 고성능 서버리스 GPU 작업 오케스트레이션 시스템입니다. 스마트한 자동 스케일링을 통해 GPU 워커에 작업을 효율적으로 분배하고, 로드 밸런싱과 자원 최적화를 보장합니다.

작동 방식

이 시스템은 워커가 중앙 API 서버에서 작업을 직접 요청하는 풀 기반 아키텍처를 사용합니다. 이 서버는 작업 큐, 워커 관리, 큐의 깊이와 자원 수요를 모니터링하는 오토스케일러를 관리합니다. Kubernetes, Docker, Novita Serverless 등의 다양한 백엔드를 지원하며, 상태 관리를 위해 Redis와 MySQL을 통합합니다.

대상 사용자

변동하는 수요에 대응하기 위해 수동 조작 없이 확장 가능한 서버리스 GPU 인프라가 필요한 AI 모델을 배포하는 개발자 및 조직을 위한 시스템입니다.

주요 특징

• 풀 기반 아키텍처: 작업을 푸시하는 대신 워커가 작업을 풀하는 방식으로 로드 밸런싱을 개선합니다.
• 다중 프로바이더 지원: Kubernetes, Docker, Novita Serverless와 호환됩니다.
• RunPod 호환성: runpod-python SDK에서 코드 변경 없이 마이그레이션 가능합니다.
• 스마트 자동 스케일링: 우선순위, 자원 인식, 큐 깊이 기반으로 스케일링합니다.
• 예외 없는 종료: 롤링 업데이트 중에도 작업이 손실되지 않습니다.