OpenAI、ハイブリッドクレジットシステムを通じてCodexとSoraへのアクセスを拡張

OpenAIは、CodexとSoraのためのリアルタイムアクセスエンジンを導入しました。これにより、ユーザーはレート制限から購入可能なクレジットへとシームレスに移行できるようになります。このハイブリッドシステムにより、使用量の制限に達したユーザーが中断することなく作業を継続できる一方で、OpenAIはシステムのパフォーマンスと公平性の制御を維持できます。

ハイブリッドアクセスモデル：レート制限とクレジットの組み合わせ

OpenAIは、従来のレート制限と使用量ベースの課金の制限を解決するために、ハイブリッドアクセスモデルに移行しました。従来のレート制限は、制限に達した際にユーザーに作業を停止させることでユーザー体験を損なうことが多く、一方で純粋な使用量ベースの課金は、最初のトークンから課金されるため、初期の探索を妨げる可能性があります。

新しいシステムは「意思決定のウォーターフォール」として機能し、システムはすべてのリクエストに対して特定の順序でアクセスを評価します：

1. レート制限: システムはまず、ユーザーが割り当てられたレート制限内であるかを確認します。
2. 無料ティア: レート制限を超えた場合、システムは利用可能な無料ティアの割り当てを確認します。
3. クレジット/プロモーション: 前述のレイヤーが使い果たされた場合、システムは購入済みのクレジットまたはプロモーションの残高を確認します。
4. エンタープライズ権限: 最後に、システムは特定のエンタープライズレベルの権限を確認します。

このアーキテクチャにより、ユーザーは手動でシステムを切り替えることなく単一のフロー内に留まることができ、クレジット消費への移行がエンドユーザーにとって不可視となります。

リアルタイムの正確性を実現するためのインハウス・インフラストラクチャ

OpenAIは、リアルタイムの正確性と完全な照合可能性という2つの主要な技術的要件を満たすために、サードパーティのメーリングプラットフォームではなく、自社開発のシステムを構築しました。

リアルタイムの意思決定

CodexやSoraのようなインタラクティブな製品の場合、使用量のカウントに遅延が生じると、不整合な残高や予期せぬブロックが発生する可能性があります。インハウスのソリューションにより、システムはユーザーが制限に達した瞬間とクレジットが利用可能であることを即座に把握でき、同一リクエスト内でのシームレスな移行を保証します。

観測可能性と信頼

ユーザーの信頼を維持するために、OpenAIは、リクエストが許可されたかブロックされたか、どれだけの使用量が発生したか、およびどの特定の残高が適用されたかを正確に監査できる能力を必要としました。これを意思決定のウォーターフォールに直接統合することで、個別の課金プラットフォームでは提供できないレベルの透明性を提供します。

使用量と残高システムの技術アーキテクチャ

分散型使用量および残高システムは、以下のメカニズムを通じて同期的なアクセス決定を行うように設計されています：

• 使用量トラッキング: システムは、ユーザーごと、および機能ごとに使用量をリアルタイムで追跡します。
• ウィンドウ管理: 需要を平滑化するために、レート制限のウィンドウを維持します。
• 残高維持: リアルタイムのクレジット残高を追跡し、ストリーミング非同期プロセッサを介して冪等的にデビット（引き落とし）を行います。

すべてのリクエストは、レート制限を消費し、クレジットを検証する単一の評価パスに従い、クレジットのデビットを非同期的に決済する一方で、確定的な結果を返します。

証明可能な課金正確性の確保

OpenAIは、誤課金を防止するために、厳格な強制よりも証明可能な正確性を優先しています。システムは、完全な監査トレイルを作成するために、相互に接続された3つのデータセットを利用します：

1. 製品使用量イベント: 課金が発生したかどうかにかかわらず、すべてのユーザーアクティビティの記録。
2. マネタイズ・イベント: ユーザーが何に対して課金されるかの記録。
3. 残高更新: クレジット残高がどのように、なぜ調整されたかの記録。

正確性のための実装詳細

• 冪等性キー: すべてのイベントは、リトライ、リプレイ、またはワーカーの再起動中に二重課金を防止するために、安定した冪等性キーを使用します。
• 非同期残高更新: 残高更新はニアリアルタイムですが非同期です。これにより、監査トレイルが作成され、バッチ照合が可能になります。この遅延によりユーザーがクレジット残高を超過してしまう場合、OpenAIは自動的にその差額を分還付します。
• 原子性トランザクション: クレジット残高の減少と残高更新記録の挿入は、単一の原子性データベーストランザクション内で行われます。これらのアカウントごとにシリアル化された更新は、並行リクエストが同じクレジットを消費するために競合することはありません。
• 帰属: すべての残高更新記録には、デビット額と、それを引き起こしたマネタイズ・イベントへの直接的なリンクが含まれています。