Ai2 有效调度：GPU 时间预算与分层公平共享

TL;DR

Ai2 将其基于优先级的 GPU 调度器替换为基于预算的分层公平共享系统，该系统保证了与影响力相符的 GPU 时间，将调试作业的延迟从数小时缩短至数秒，在保持 98% 集群占用率的同时，将值班工作量减少了 74%。

大规模调度难题

  • Ai2 运营着由 NVIDIA H100、B200 和 B300 卡组成的 88 到 1024 GPU 集群，服务于约 150 名研究人员，涵盖 LLM、VLM、RL 和科学工作负载。
  • 需求持续超过供应 2–3 倍，这意味着每个 GPU 小时都有 2–3 个不同的作业在竞争。
  • 传统的基于优先级的调度器导致了：
    • GPU 占用（Squatting） – 用户停放空转作业以预留容量。
    • 优先级膨胀 – 所有作业最终都以 HIGH 优先级运行，导致低优先级工作被饿死。
    • 高值班负担 – 工程师大部分时间都在协商关闭不健康主机上无法抢占的作业。

从优先级到预算：核心理念

  • Ai2 不再分配静态的 GPU 垄断权，而是向项目和研究人员分配 GPU 时间预算。
  • 三个层级的管理者（首席研究员 → 项目负责人 → 项目经理/CEO）设定总容量的比例份额（例如，项目 A1 获得 35% 的份额）。
  • 每个工作负载都必须由预算资助；未获资助的作业被视为未分配，且完全可被抢占。
  • 这将调度争论转化为透明的预算审查过程，而不是临时协商。

分层公平共享调度器

  • 该调度器实现了经典的 分层公平共享 算法（源自 Hadoop Fair Scheduler、SLURM Fair Tree、YARN Fair Scheduler），但使用了从预算树派生的动态权重。
  • 它跟踪 7 天滑动窗口 内的 GPU 占用情况，并优先考虑利用率不足的分配，而非利用率过高的分配。
  • 两种占用类别：
    1. 已分配占用 – 从预算中扣除，在最短运行时间内免受抢占。
    2. 未分配占用 – 不扣除预算，始终可被抢占，用于在预算闲置时保持 GPU 忙碌。
  • 系统会在受保护的最小运行时间到期后自动 重新排队可恢复作业，从而实现跨团队的时间片轮转。

“新的调度器让我们感觉多出了 30% 的计算能力……我们可以在超出分配限制后继续突发运行，并且作业依然能快速调度且不会被抢占。” — Chris Clark

调度契约：最小运行时间保证

  • 工作负载声明一个 最小运行时间（实现有意义进展所需的最短周期）以及它们是否可恢复。
  • 在此窗口期间，作业免受抢占；过期后，调度器可能会抢占并重新排队该作业。
  • 将最小运行时间设置为零会将作业标记为 未分配，使其完全可被抢占且无成本。
  • 该契约解决了两个痛点：
    • 防止长期运行的作业垄断 GPU（减少占用）。
    • 允许自动排空不健康主机，将人工参与的修复工作减少了 74%。

用于策略验证的模拟框架

  • Ai2 构建了一个轻量级模拟器，用于摄取历史工作负载提交并运行调度器逻辑，以预测队列时间、抢占和 GPU 时间分配。
  • 模拟指导了关键参数，例如 8 小时最大最小运行时间，并验证了调试工作负载的延迟将显著降低。
  • 手动设计的调试作业场景显示预测延迟从 ≈6 小时降至 5 分钟；实际部署实现了 ≈2 小时降至 30 秒。

部署后的生产结果

  • 分配完成率： 团队在 30 天内获得了其应得 GPU 小时的 98%；15 个团队中有 13 个达到了 ≥95% 的完成率，最差情况为 90%。
  • 集群占用率： 尽管超额订阅了 2–3 倍，但仍稳定在 98%。
  • 未分配使用率： 交付的 GPU 时间中有 18% 是未分配的，这提供了保持高占用率的缓冲。
  • 队列延迟改进： 最大 H100 集群上的中位等待时间从 5 分钟降至 24 秒；p90 等待时间从 2.8 小时降至 1.8 小时。
  • 调试作业： p90 等待时间从 2 小时减少到 30 秒，远超模拟预期。
  • 值班工作量： 自动主机排空将人工参与的修复工作减少了 74%。

剩余挑战与后续步骤

  • 学习曲线： 早期由于术语混杂和跨集群行为差异导致了困惑；通过现场解释会和更新的可视化工具缓解了这一问题。
  • 交互式会话： 时间片轮转将受保护的运行时间限制为 8 小时，导致长时间开发会话被抢占。Ai2 计划：
    1. 部署一个 仅 CPU 集群 用于数据准备和交互式工作。
    2. 构建 可恢复会话，可以在 CPU 集群上进行检查点保存和恢复。
  • 容量碎片化： 保护最小运行时间可能会限制调度器同时抢占多个小作业的能力，从而可能增加超大型工作负载的等待时间。正在进行的模拟工作旨在量化并解决这一影响。

展望未来：从影响力到利用率

  • 金字塔的下一层是 利用率 —— 确保引导、检查点保存和训练代码尽可能高效地运行，以最大化已分配 GPU 时间的价值。
  • Ai2 诚邀合作者加入其工程团队，共同应对这些利用率挑战。

本文是对 Allen Institute for AI 于 2026-10-09 发布的官方 Hugging Face 博客文章“Impactful scheduling for GPU clusters”的忠实综合。

Sources