OpenAI 透過混合信用系統擴展對 Codex 與 Sora 的存取
OpenAI 為 Codex 與 Sora 推出了一個即時存取引擎，讓使用者能夠無縫地從速率限制切換到可購買的信用。此混合系統確保在使用量達到上限的使用者仍能持續工作而不受中斷，同時 OpenAI 也能維持系統效能與公平性控制。
混合存取模型：結合速率限制與信用
OpenAI 轉向混合存取模型，以解決傳統速率限制與基於使用量計費的局限。傳統的速率限制常因在達到上限時迫使使用者停止工作而導致不佳的使用體驗，而純粹的使用量計費則可能因從第一個 token 起即開始收費而抑制早期探索。
新系統以「決策瀑布」的方式運作，系統會對每個請求依特定順序評估存取權：
- Rate Limits: 系統首先檢查使用者是否仍在其分配的速率限制內。
- Free Tiers: 若速率限制已超出，系統會檢查是否有可用的免費層配額。
- Credits/Promotions: 若前述層級已耗盡，系統會檢查已購買的信用或促銷餘額。
- Enterprise Entitlements: 最後，系統會檢查特定的企業級權限。
此架構讓使用者能在單一流程中持續操作，無需手動切換系統，使信用消耗的轉換對最終使用者而言是透明的。
內部基礎設施以確保即時正確性
OpenAI 內部開發此系統，而非使用第三方計量平台，以滿足兩項主要技術需求：即時正確性與完整的可對帳性。
即時決策
對於 Codex 與 Sora 等互動式產品而言，使用量計算的任何延遲都可能導致餘額不一致或意外封鎖。內部解決方案使系統能即時知道使用者是否已觸及限制且是否有可用信用，確保在同一請求內的無縫轉換。
可觀測性與信任
為了維持使用者信任，OpenAI 需要能夠審計請求被允許或阻止的具體原因、消耗了多少使用量，以及套用了哪些特定餘額。將此直接整合到決策瀑布中，提供了獨立計費平台無法提供的透明度。
使用量與餘額系統的技術架構
分散式使用量與餘額系統設計為透過以下機制進行同步存取決策：
- Usage Tracking: 系統即時追蹤每位使用者與每項功能的使用量。
- Window Management: 系統維持速率限制窗口，以平滑需求。
- Balance Maintenance: 系統即時追蹤信用餘額，並透過串流非同步處理器以冪等方式扣除。
每個請求遵循單一評估路徑，同步消耗速率限制並驗證信用，返回明確結果，同時以非同步方式結算信用扣除。
確保可驗證的計費正確性
OpenAI 將可驗證的正確性置於嚴格執行之上，以防止錯誤計費。系統使用三個相互關聯的資料集來建立完整的稽核追蹤：
- Product Usage Events: 所有使用者活動的紀錄，無論是否觸發收費。
- Monetization Events: 使用者被收費項目的紀錄。
- Balance Updates: 信用餘額如何被調整以及原因的紀錄。
實作細節以確保精確性
- Idempotency Keys: 每筆事件皆使用穩定的冪等鍵，以防止在重試、重放或工作者重新啟動時產生重複收費。
- Asynchronous Balance Updates: 餘額更新接近即時但為非同步。此方式建立稽核追蹤，並允許批次對帳。若此延遲導致使用者超出信用餘額，OpenAI 會自動退還差額。
- Atomic Transactions: 信用餘額的減少與餘額更新紀錄在單一原子資料庫交易中插入。由於更新以每個帳戶序列化，並發請求不會競爭同一筆信用的消費。
- Attribution: 每筆餘額更新紀錄皆包含扣除金額，並直接鏈結回觸發該扣除的計費事件。