skypilot-org/skypilot

해결하는 문제

SkyPilot는 다양한 클라우드 공급업체 및 온프레미스 클러스터에서 AI 컴퓨팅을 관리하는 복잡성을 해결합니다. 지원되는 클라우드 또는 Kubernetes/Slurm 클러스터에서 가장 저렴하고 사용 가능한 인프라를 자동으로 찾아내어 AI 워크로드를 시작하고 확장할 수 있는 통합 인터페이스를 제공함으로써 벤더 종속성을 제거하며, 비용과 자원 가용성(예: GPU/TPU 가용성)을 최적화합니다.

작동 방식

사용자는 자원 요구사항(예: 8x A100 GPU), 데이터 동기화, 설정 명령어, 실행 명령어를 지정하는 통합 YAML 또는 Python API를 사용하여 AI 작업을 정의합니다. SkyPilot는 이를 바탕으로 지원되는 클라우드 또는 Kubernetes/Slurm 클러스터에서 가장 저렴하고 사용 가능한 인프라를 자동으로 찾고, 자원을 프로비저닝하며, 코드를 동기화하고 종속성을 설치한 후 작업을 실행합니다.

대상 사용자

다양한 인프라 공급업체에서 작업을 실행해야 하는 AI 팀과 AI 컴퓨팅, 스케줄링, 확장성을 통합 관리해야 하는 인프라 팀

주요 기능

• 다중 클라우드 및 다중 클러스터 지원: AWS, GCP, Azure 등 20개 이상의 클라우드, Kubernetes 및 Slurm 클러스터를 지원합니다.
• GPU 펌 fleet 최적화: 사용되지 않는 자원에 대한 자동 정지, 공유 클러스터용 바이닝 패킹, 가용성에 최적화된 지능형 스케줄러 등의 기능을 포함합니다.
• Kubernetes 강화: 게임 스케줄링, 멀티노드 작업, 간편한 인터랙티브 개발(SSH/IDE 연결)과 같은 AI 중심 기능을 Kubernetes에 추가합니다.
• BYOC (Bring Your Own Cloud): 모든 작업은 사용자의 자체 클라우드 계정 및 VPC 내에서 실행됩니다.
• 자동 장애 복구: 가용 인프라가 없을 경우 자동으로 다른 사용 가능한 인프라로 전환하여 처리합니다.

"SkyPilot는 AI 작업을 여러 클라우드와 클러스터에서 일관되게 실행하고 관리할 수 있게 해주는 혁신적인 도구입니다. 비용을 최소화하면서도 GPU 자원을 효율적으로 활용할 수 있어 매우 유용합니다." — @skyprophet