Dstack-TEE/dstack

dstack – 机密 AI 开源框架

它是什么 – dstack 是一个开源平台，让您能在硬件根基的受信任执行环境（TEE，如 Intel TDX、AMD SEV-SNP 和 NVIDIA Confidential Computing GPU）中运行 AI 工作负载（例如 LLM 推理、代理、训练）。它在标准 Docker-Compose 工作流程之上增加了加密证明、应用密钥管理和零信任网络，因此您可以在保留现有容器定义的同时，确保数据和模型权重永远不会离开 enclave 的加密内存。

核心理念

理念	含义
零摩擦导入	无需修改任何 `docker-compose.yaml`，无需 SDK 或重写代码。
硬件根基隐私	数据在 RAM 和磁盘中加密；主机操作系统无法读取。
加密验证	每个容器都有经过证明的身份；用户可以验证签名报价（Intel TDX、SEV-SNP 或 NVIDIA）以确保运行的是正确的操作系统镜像和代码。
机密 GPU	支持 NVIDIA H100/Blackwell Confidential Computing，即使在 GPU 上，模型权重也能保持加密。
无信任运作	密钥在 enclave 内部派生，绝不暴露给操作员；更新遵循链上多方批准规则。

支持平台

裸机 Intel TDX (完整生产路径)
裸机 AMD SEV-SNP (实验性，需要支持 SNP 的客体镜像)
Phala Cloud (托管式 TDX 服务)
GCP Confidential VMs (TDX + TPM)
AWS Nitro Enclaves (NSM 证明)

主要组件

组件	角色
VMM	在主机上运行，解析 Docker-Compose 文件，启动可重现的机密 VM 镜像，分配 CPU/内存/GPU 资源。
Guest Agent	存在于每个机密 VM 内部，产生证明报价，从 KMS 派生应用密钥，加密本地存储，并公开 Unix-socket HTTP API (`/var/run/dstack.sock`)。
KMS	独立的 TEE 服务，仅在验证 VM 的证明后才释放密钥；策略定义在链上智能合约中。
Gateway	边缘 TLS 终止器，自动配置 ACME 证书，将流量路由至 VM，并对内部调用使用相互 RA-TLS。
SDKs	与 Guest Agent API 通讯的轻量级客户端库（Python、TypeScript、Rust、Go）；也提供纯 curl API。

入门指南（快速示例）

# docker-compose.yaml
services:
  vllm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    command: --model Qwen/Qwen2.5-7B-Instruct
    ports:
      - "8000:8000"

安装 CLI：curl -sSf https://dstack.io/install | sh (或使用 dstackup 脚本)。
运行 dstackup install 以设置主机 VMM。
使用 dstack deploy 进行部署。
用户可以通过 SDK 或 dstack-verifier 工具获取证明报价来验证部署。

托管选项为 Phala Cloud，无需拥有 TEE 硬件即可使用相同的工作流程。

安全模型（高阶）

内存与存储加密 – AES-256 密钥在 enclave 内部产生；绝不离开 CPU/GPU。
确定性操作系统构建 – 操作系统镜像是可重现的；哈希值是证明报价的一部分。
证明绑定密钥 – 密钥与测量的操作系统和应用身份绑定，防止跨不同工作负载的密钥重用。
第三方审计 – zkSecurity 执行了公开审计 (参阅 docs/security/dstack-audit.pdf)。
开源透明度 – 所有核心代码（运行时、SDK、客体操作系统）均为 Apache-2.0；第三方组件保留其各自的授权。

典型使用案例

机密 LLM 推理 – 服务专有模型（例如 Qwen、Llama），而不向云端供应商暴露权重或用户提示。
安全 AI 代理 – 在 TEE 内运行处理敏感数据（金融、健康）的自主代理，并具备可验证的执行过程。
受监管的训练管线 – 在机密数据集上进行微调，同时保持数据在内存和磁盘中加密。
多租户 AI SaaS – 提供每个客户隔离的容器；每个租户在发送数据前都可以验证 enclave 的报价。

文档与社区

文档 – 完整使用指南、硬件启用、操作系统构建说明和验证步骤位于 docs/ 文件夹及 https://docs.phala.com/dstack。
示例 – 可直接运行的示例项目位于 dstack-examples 仓库中。
支持 – Telegram 社区、GitHub Discussions 以及通过 Phala Network 提供的企业支持。
治理 – 链上智能合约策略控制谁可以更新代码或释放密钥，提供无信任的升级路径。

授权

dstack 源代码、SDK、文档和工具均在 Apache-2.0 授权下发布。嵌入的第三方组件保留其原始授权，均通过 REUSE SPDX 标头声明。

总结

dstack 让您在保持 Docker-Compose AI 堆栈不变的情况下，将容器移至机密 VM（Intel TDX、AMD SEV-SNP 或 AWS Nitro）以及（如有需要）机密 GPU 中。它开箱即用地处理证明、密钥管理、TLS 路由和链上治理，为您提供加密证明，确保用户运行的是您所发布的精确代码。