OpenAI Control Room：用于跟踪和停止研究模型工作负载的中央系统

Control Room 概述

Control Room 是一个集中式系统，旨在跟踪 OpenAI 研究基础设施中的模型工作负载，并在出现安全或保障风险时提供立即停止这些工作负载的机制。它专为管理代理采样、模型训练和评估任务而设计，确保所有基于研究的推理都受到监督。该系统被设计为“故障关闭”（fail-closed），这意味着如果服务无法访问或被篡改，所有模型推理请求都将被自动拒绝。

架构与集成

Control Room 通过集成三个不同的组件来发挥作用：工作负载、推理引擎和 Control Room 服务本身。

• 工作负载： 任何涉及代理推理的任务（例如强化学习实验或评估）都必须关联一个已批准的安全案例，并分配一个唯一的 job_id。
• 推理引擎： 这充当了在 GPU 上运行的模型“大脑”。引擎被配置为在满足任何推理请求之前先与 Control Room 服务进行核对。
• Control Room 服务： 这充当中央权威机构。当引擎收到推理请求时，它会使用 job_id 查询 Control Room 服务。如果任务已被终止，服务将拒绝该请求，引擎也将拒绝产生进一步的输出。

操作安全与监控

Control Room 旨在与现有的失准监控系统协同工作。当监控器检测到潜在问题时，它会向 Control Room 发送终止信号，Control Room 随后会更新特定 job_id 的状态。由于终止机制是在推理层而不是工作负载层实现的，因此它对研究实验本身中可能存在的错误或恶意代码具有弹性。

性能与可靠性

目前，该系统保证模型输出将在干预决定后的 35 秒内停止。这种延迟归因于处理高流量所需的缓存层，尽管 OpenAI 正在积极努力将此延迟降低至零。

为了确保安全，该系统采用了多项保障措施：

• 故障关闭配置： 如果 Control Room 服务宕机或被禁用，推理引擎默认拒绝所有请求。
• 集中式执行： 通过将终止逻辑置于推理层（该层比研究工作负载代码更统一、更集中），OpenAI 确保所有模型推理都受到授权检查。
• 持续审计： 团队会进行持续的代理和程序化扫描，以检测任何可能试图绕过或禁用 Control Room 集成的异常引擎实现。