DeepSeek 弹性计算 (DSec) 基础设施
DeepSeek 弹性计算 (DSec) 是一个生产级沙箱平台,通过提供隔离的、有状态的执行环境,支持大规模智能体训练与评估。它解决了在大规模突发需求下管理数百万个沙箱的挑战,处理异构隔离需求,并在优化资源利用率的同时保持长交互过程中的状态。
高密度沙箱管理
DSec 通过内存共享、回收和优化的 CPU 调度相结合,实现了高密度执行。单个生产规模的 DSec 单元跨越约 160 个 CPU 节点,拥有 30,000 个核心和 250 TB DRAM。该基础设施支持以下性能指标:
- 并发沙箱: 峰值并发量达到约 380,000 个实例。
- 每日吞吐量: 单个规模单元每天服务约 300 万个沙箱实例。
- 创建速率: 该平台维持着每秒超过 5,000 个实例的创建速率。
统一的沙箱后端
为了适应不同的隔离和功能需求,DSec 通过统一的 SDK 暴露了多个沙箱后端。这使得系统能够根据任务选择适当的隔离级别:
- FnCall: 用于轻量级函数调用任务。
- Containers: 用于标准隔离环境。
- Container-based microVMs: 用于更强的隔离。
- Full-VMs: 用于最严格的隔离需求。
分布式镜像分发与存储
DSec 利用 Fire-Flyer File System (3FS)(一种集群范围的分布式文件系统)按需加载镜像数据。这种方法减少了环境设置开销,并最大限度地减少了通常与重用率有限的大型镜像库相关的镜像分发瓶颈。
与强化学习 (RL) 框架的协同设计
DSec 专门与强化学习框架协同设计,以优化 GPU 训练循环。它将有状态的 rollout 执行(智能体与环境交互的地方)与可抢占的 GPU 训练解耦。这种协调使平台能够在回收空闲资源的同时保留 rollout 状态,从而减轻智能体的不当行为,例如奖励作弊。
社区与行业视角
行业观察者和开发者注意到了 DSec 与 Google 的 Ax 项目之间的相似之处,这表明了智能体 AI 所需基础设施的平行演进。社区讨论强调了其运营规模,用户指出每个核心 12 个沙箱的比例令人印象深刻。
"在一个规模单元内,该平台跨越了近 160 个 CPU 节点,拥有 30K 个核心和约 250 TB DRAM……峰值并发量达到约 380K,创建速率超过每秒 5,000 个实例。"
此外,安全专家强调,随着模型能力越来越强,对能够防止模型逃逸环境的安全、隔离沙箱的需求,正成为安全 AI 部署的关键要求。
Sources
相关
- Dispatch
- 项目
- 项目
- Dispatch
- 项目