dstackai/dstack

Vendor-agnostic orchestration for training, inference and agentic workloads across NVIDIA, AMD, TPU, and Tenstorrent on clouds, Kubernetes, and bare metal.

What it solves

dstack은 GPU 프로비저닝 및 오케스트레이션을 위한 통합 제어 평면입니다. 서로 다른 GPU 클라우드, Kubernetes 클러스터, 온프레미스 서버 간에 컴퓨팅 자원을 관리하는 복잡성을 없애고, 개발·학습·추론을 일관된 방식으로 처리할 수 있게 합니다.

How it works

사용자는 dstack 서버와 CLI를 설정하여 인프라를 관리합니다. 시스템은 "백엔드"를 구성해 다양한 GPU 클라우드 또는 클러스터에 연결합니다. 사용자는 YAML 설정 파일을 통해 플릿, 개발 환경, 작업에 대한 인프라 요구사항을 정의합니다. dstack apply를 실행하면 시스템이 자동으로 프로비저닝, 작업 큐잉, 자동 스케일링, 네트워킹, 볼륨 관리를 수행해 연결된 모든 환경에서 동작합니다.

Who it’s for

로컬 개발부터 분산 학습 및 모델 배포까지 워크로드를 확장해야 하는 AI 개발자와 ML 엔지니어를 위한 솔루션이며, NVIDIA, AMD, Google TPU, Tenstorrent 가속기를 지원합니다.

Highlights

  • Multi-cloud and Hybrid Support: Works across any GPU cloud, Kubernetes, and on‑prem clusters.
  • Detailed Resource Management: Supports fleets, dev environments, tasks, and services for different stages of the ML lifecycle.
  • uma own AI Agent Integration: Provides "skills" that allow AI agents (like Claude or Cursor) to manage fleets and submit workloads via the CLI.
  • Broad Hardware Compatibility: Out‑of‑the‑box support for NVIDIA, AMD, Google TPU, and Tenstorrent accelerators.