Dstack-TEE/dstack

dstack – 기밀 AI를 위한 오픈 프레임워크

개요 – dstack은 Intel TDX, AMD SEV-SNP, NVIDIA Confidential Computing GPU와 같은 하드웨어 기반 신뢰 실행 환경(TEE) 내에서 AI 워크로드(LLM 추론, 에이전트, 학습 등)를 실행할 수 있는 오픈소스 플랫폼입니다. 표준 Docker-Compose 워크플로우 위에 암호학적 증명, 애플리케이션별 키 관리, 제로 트러스트 네트워킹을 추가하므로, 기존 컨테이너 정의를 유지하면서 데이터와 모델 가중치가 enclave의 암호화된 메모리를 절대 벗어나지 않음을 보장할 수 있습니다.

핵심 개념

개념	의미
마찰 없는 온보딩	`docker-compose.yaml`을 그대로 사용 가능. SDK나 코드 재작성이 필요 없습니다.
하드웨어 기반 개인정보 보호	데이터는 RAM 및 디스크에서 암호화되며, 호스트 OS는 이를 읽을 수 없습니다.
암호학적 검증	각 컨테이너는 증명된 ID를 가집니다. 사용자는 서명된 쿼트(Intel TDX, SEV-SNP 또는 NVIDIA)를 검증하여 정확한 OS 이미지와 코드가 실행 중임을 확인할 수 있습니다.
기밀 GPU	NVIDIA H100/Blackwell Confidential Computing을 지원하여 GPU 상에서도 모델 가중치가 암호화된 상태로 유지됩니다.
트러스트리스 운영	키는 enclave 내부에서 파생되며 운영자에게 노출되지 않습니다. 업데이트는 온체인 다자간 승인 규칙을 따릅니다.

지원 플랫폼

베어메탈 Intel TDX (전체 프로덕션 경로)
베어메탈 AMD SEV-SNP (실험적, SNP 지원 게스트 이미지 필요)
Phala Cloud (관리형 TDX 서비스)
GCP Confidential VMs (TDX + TPM)
AWS Nitro Enclaves (NSM 증명)

주요 구성 요소

구성 요소	역할
VMM	호스트에서 실행되며 Docker-Compose 파일을 파싱하고, 재현 가능한 기밀 VM 이미지를 부팅하며, CPU/메모리/GPU 리소스를 할당합니다.
Guest Agent	각 기밀 VM 내부에서 동작하며 증명 쿼트를 생성하고, KMS에서 앱별 키를 파생하며, 로컬 스토리지를 암호화하고, Unix-socket HTTP API (`/var/run/dstack.sock`)를 노출합니다.
KMS	VM의 증명을 검증한 후에만 키를 해제하는 별도의 TEE 서비스. 정책은 온체인 스마트 컨트랙트로 정의됩니다.
Gateway	엣지 TLS 터미네이터. ACME 인증서를 자동으로 프로비저닝하고, VM으로 트래픽을 라우팅하며, 내부 호출에 상호 RA-TLS를 사용합니다.
SDKs	Guest Agent API와 통신하는 경량 클라이언트 라이브러리(Python, TypeScript, Rust, Go). 일반 curl API도 제공됩니다.

시작하기 (빠른 예제)

# docker-compose.yaml
services:
  vllm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    command: --model Qwen/Qwen2.5-7B-Instruct
    ports:
      - "8000:8000"

CLI 설치: curl -sSf https://dstack.io/install | sh (또는 dstackup 스크립트 사용).
dstackup install을 실행하여 호스트 VMM 설정.
dstack deploy로 배포.
사용자는 SDK 또는 dstack-verifier 도구를 사용하여 증명 쿼트를 가져와 배포를 검증할 수 있습니다.

완전 관리형 옵션인 Phala Cloud를 사용하면 TEE 하드웨어를 소유하지 않아도 동일한 워크플로우를 사용할 수 있습니다.

보안 모델 (개요)

메모리 및 스토리지 암호화 – AES-256 키는 enclave 내부에서 생성되며 CPU/GPU를 절대 벗어나지 않습니다.
결정론적 OS 빌드 – OS 이미지는 재현 가능하며, 해시값은 증명 쿼트의 일부입니다.
증명 기반 키 – 키는 측정된 OS 및 앱 ID에 묶여 있어 서로 다른 워크로드 간의 키 재사용을 방지합니다.
제3자 감사 – zkSecurity를 통한 공개 감사 완료 (docs/security/dstack-audit.pdf 참조).
오픈소스 투명성 – 모든 핵심 코드(런타임, SDK, 게스트 OS)는 Apache-2.0 라이선스입니다. 제3자 구성 요소는 자체 라이선스를 유지합니다.

일반적인 사용 사례

기밀 LLM 추론 – 클라우드 제공업체에 가중치나 사용자 프롬프트를 노출하지 않고 독점 모델(Qwen, Llama 등)을 서비스합니다.
보안 AI 에이전트 – 민감한 데이터(금융, 의료)를 처리하는 자율 에이전트를 TEE 내에서 실행하여 검증 가능한 실행을 보장합니다.
규제 준수 학습 파이프라인 – 기밀 데이터셋에서 파인튜닝을 수행하면서 데이터는 메모리와 디스크에서 암호화된 상태로 유지합니다.
멀티 테넌트 AI SaaS – 고객별로 격리된 컨테이너를 제공. 각 테넌트는 데이터를 전송하기 전에 enclave의 쿼트를 검증할 수 있습니다.

문서 및 커뮤니티

문서 – 전체 사용 가이드, 하드웨어 활성화, OS 빌드 지침 및 검증 단계는 docs/ 폴더 및 https://docs.phala.com/dstack에 있습니다.
예제 – 즉시 실행 가능한 샘플 프로젝트는 dstack-examples 저장소에 있습니다.
지원 – Telegram 커뮤니티, GitHub Discussions 및 Phala Network를 통한 엔터프라이즈 지원.
거버넌스 – 온체인 스마트 컨트랙트 정책이 코드 업데이트나 키 해제 권한을 제어하여 트러스트리스 업그레이드 경로를 제공합니다.

라이선스

dstack 소스 코드, SDK, 문서 및 도구는 Apache-2.0 라이선스로 릴리스됩니다. 포함된 제3자 구성 요소는 원래 라이선스를 유지하며, 모두 REUSE SPDX 헤더를 통해 선언됩니다.

요약

dstack을 사용하면 Docker-Compose AI 스택을 변경하지 않고도 컨테이너를 기밀 VM(Intel TDX, AMD SEV-SNP 또는 AWS Nitro) 및 필요한 경우 기밀 GPU로 이동할 수 있습니다. 증명, 키 관리, TLS 라우팅 및 온체인 거버넌스를 기본적으로 처리하여, 배포한 코드가 정확히 실행되고 있음을 증명하는 암호학적 증거를 제공합니다.