OpenAI 通过混合信用系统扩展对 Codex 和 Sora 的访问
OpenAI 推出了一个针对 Codex 和 Sora 的实时访问引擎，使用户能够无缝地从速率限制过渡到可购买的信用。该混合系统确保在达到使用上限的用户能够继续工作而不中断，同时 OpenAI 维持系统性能和公平性控制。
混合访问模型：结合速率限制和信用
OpenAI 转向混合访问模型，以解决传统速率限制和基于使用计费的局限性。传统的速率限制常常导致糟糕的用户体验，因为在达到限制时迫使用户停止工作，而纯粹的基于使用计费会在第一个 token 起就收费，从而抑制早期探索。新系统作为“决策瀑布”运行，系统会对每个请求按特定顺序评估访问：
- 速率限制： 系统首先检查用户是否在其分配的速率限制范围内。
- 免费层级： 如果速率限制已超出，系统会检查是否有可用的免费层配额。
- 信用/促销： 如果前面的层已耗尽，系统会检查已购买的信用或促销余额。
- 企业授权： 最后，系统检查特定的企业级权限。
该架构使用户能够保持在单一流程中，无需手动切换系统，使信用消耗的过渡对最终用户而言是透明的。
内部基础设施实现实时正确性
OpenAI 在内部开发了该系统，而非使用第三方计量平台，以满足两个主要技术需求：实时正确性和完整的可对账性。
实时决策
对于像 Codex 和 Sora 这样的交互式产品，任何使用计数的延迟都可能导致余额不一致或意外阻断。内部解决方案使系统能够立即知道用户是否已触及限制且是否有可用信用，从而确保在同一请求内实现无缝过渡。
可观测性与信任
为保持用户信任，OpenAI 需要能够准确审计请求被允许或阻止的原因、消耗了多少使用量以及使用了哪些具体余额。将此直接集成到决策瀑布中，提供了独立计费平台无法提供的透明度。
使用与余额系统的技术架构
分布式使用与余额系统通过以下机制设计用于同步访问决策：
- 使用跟踪： 系统实时跟踪每个用户和每个功能的使用情况。
- 窗口管理： 它维护速率限制窗口以平滑需求。
- 余额维护： 它实时跟踪信用余额，并通过流式异步处理器以幂等方式进行扣减。
每个请求遵循单一评估路径，同步消耗速率限制并验证信用，返回明确的结果，同时异步结算信用扣减。
确保可验证的计费正确性
OpenAI 将可验证的正确性置于严格执行之上，以防止计费错误。系统使用三个相互关联的数据集来创建完整的审计轨迹：
- 产品使用事件： 记录所有用户活动，无论是否触发收费。
- 变现事件： 记录用户被收费的项目。
- 余额更新： 记录信用余额的调整方式及原因。
实现细节以确保准确性
- 幂等键： 每个事件使用稳定的幂等键，以防止在重试、重放或工作进程重启时出现双重收费。
- 异步余额更新： 余额更新接近实时但为异步。这创建了审计轨迹并允许批量对账。如果此延迟导致用户超出信用余额，OpenAI 会自动退还差额。
- 原子事务： 信用余额的减少和余额更新记录在单个原子数据库事务中插入。由于更新按账户序列化，并发请求无法竞争同一信用的消费。
- 归因： 每条余额更新记录包含扣减金额，并直接链接回触发该扣减的变现事件。