Modal: 为 AI Agent 解决 100,000 个沙箱问题

从开发者体验到 Agent 体验的转变

Modal 正在将其重心从开发者体验 (DX) 转向 Agent 体验 (AX)。其核心论点是，高质量 DX 的优势——例如减少样板代码和简化基础设施配置——可以直接应用于 AI agent。与其要求 agent 导航数百个无类型的 Kubernetes YAML 文件，Modal 允许 agent 通过代码中的装饰器进行更改，从而实现一种自我配置的运行时，使 agent 能够实时查看更改的效果。

随着 agent 编写代码的比例日益增加，人类的角色正向可观测性转变。虽然 agent 可以使用 CLI 进行调查，但人类仍需解释仪表板并做出高层级的判断。因此，高质量的可观测性工具现在比阅读底层代码的能力更为关键。

为什么传统云基础设施无法满足 AI 工作负载

Kubernetes 和传统的云提供商是为稳定的 Web 服务器使用场景和缓慢的扩展而设计的。然而，AI 工作负载的特点是极端的“突发性”，并且需要专门的计算资源（加速器）和自定义镜像。

Modal 通过提供以下功能来填补这些空白：

• Elastic Inference: 快速从零扩展到跨不同区域的数千个 GPU，以匹配不可预测的流量模式。
• Serverless Primitives: 一种运行时，允许计算密集型工作负载在没有传统集群管理开销的情况下进行爆发式升降。
• Multi-Cloud Capacity: 一种“超级云”策略，跨越 17 个不同的云提供商，通过在各种 NeoClouds 之上构建软件定义的可靠性层，使 Modal 能够针对数据本地性、延迟和可靠性进行优化。

解决 100,000 个沙箱问题

对于特定的 AI 工作负载，特别是强化学习 (RL) 的 rollout，基础设施需求是海量且高度波动的。Akshat Bubna 指出，RL rollout 可能需要同时运行多达 100,000 个沙箱。

为了支持这一点，Modal 开发了几项关键的技术原语：

• GPU Snapshotting: 通过对 GPU 状态进行快照（例如 torch compiler model 快照），Modal 显著减少了冷启动时间，从而在突发性的推理或训练运行期间实现更快的扩展。
• Networked Sandboxes and Sidecars: Modal 支持“sidecars”，允许一个沙箱成为由多个容器组成的 pod。这对于运行用于日志记录或控制出口网络的中间人代理至关重要。
• Private IPv6 Overlay (I6PN): 一种覆盖网络，允许同一工作空间内的容器使用私有 IPv6 地址进行通信，这对于分布式训练至关重要。
• RDMA Networking: 为了绕过 TCP 网络栈并在节点之间更快地传输内存，Modal 提供了 RDMA 网络（速度高达 3 terabits per second），这对于中型模型的多节点后训练至关重要。

利用 DeFlash 提升推理性能

Modal 正在超越作为部署的“黑盒”，转向优化模型层本身。一个主要焦点是通过投机采样 (speculative decoding) 来提高推理速度。

Speculative Decoding 与 DeFlash

投机采样使用较小的“草稿模型”来预测 token，然后由较大的模型进行批量验证。这种方法更效率，因为它利用的是计算能力而非受限于内存带宽。

Modal 开源了 DeFlash，一个基于 block 的 speculator。虽然内核优化只能提供边际的百分比增益，但增加“接受长度”（大模型从草稿模型接受的 token 数量）可以实现 2x 到 4x 的乘法级加速，且不牺牲质量。

Auto Endpoints

为了在不需要深厚专业知识的情况下实现前沿水平的性能，Modal 引入了 Auto Endpoints。这些允许用户通过 UI 或 CLI 使用内置 DeFlash 和其他优化的端点进行创建，同时保持透明度；用户可以切换到完整的 Modal 体验以微调模型或调整配置。

AI 基础设施的未来：自动研究与 CI

Modal 正在扩展到“自动研究 (auto-research)”，即为 agent 赋予 GPU，让其根据模型直觉进行超参数搜索。这比传统的网格搜索更有效率，并且允许 agent 自主地调整配置、运行分析器并切换 GPU 类型（例如，从 H200 切换到 B200）以寻找最佳性能。

此外，Modal 正在看到 CI (持续集成) 市场的重大机遇。随着 coding agent 编写代码的量，使得 CI 运行次数增加，目前准备依赖项和产物的过程非常浪费。Modal 认为，像内存快照和恢复等原语可以使 agentic 工作流的 CI 显著提高效率。