dstack: 여러 클라우드 및 온프레미스 클러스터를 아우르는 GPU 프로비저닝 및 오케스트레이션을 위한 통합 제어 평면

해결하는 문제

dstack은 GPU 프로비저닝 및 오케스트레이션을 위한 통합 제어 평면입니다. 이는 서로 다른 GPU 클라우드, Kubernetes 클러스터, 온프레미스 서버 간의 컴퓨팅 리소스를 관리하는 복잡성을 제거하여 개발, 학습, 추론을 처리하는 일관된 방법을 제공합니다.

작동 방식

사용자는 인프라를 관리하기 위해 dstack 서버와 CLI를 설정합니다. 시스템은 다양한 GPU 클라우드 또는 클러스터에 연결하기 위해 "backend"를 구성함으로써 작동합니다. 사용자는 YAML 구성 파일을 통해 fleet, 개발 환경, task를 정의합니다. dstack apply를 실행하면 시스템은 연결된 환경 전반에 걸쳐 프로비저닝, 작업 대기열, 오토스케일링, 네트워킹 및 볼륨 관리를 자동으로 처리합니다.

대상 사용자

로컬 개발에서 분산 학습 및 다양한 하드웨어 가속기(NVIDIA, AMD, Google TPU, Tenstorrent)를 통한 모델 배포까지 워크로드를 확장해야 하는 AI 개발자 및 ML 엔지니어.

주요 특징

• 멀티 클라우드 및 하이브리드 지원: 모든 GPU 클라우드, Kubernetes 및 온프레미스 클러스터에서 작동합니다.
• 상세한 리소스 관리: ML 라이프사이클의 다양한 단계에 맞는 fleet, dev 환경, task 및 service를 지원합니다.
• uma의 자체 AI Agent 통합: AI 에이전트(Claude 또는 Cursor와 같은)가 CLI를 통해 fleet을 관리하고 워크로드를 제출할 수 있도록 하는 "skill"을 제공합니다.
• 광범위한 하드웨어 호환성: NVIDIA, AMD, Google TPU, Tenstorrent 가속기를 즉시 지원합니다.