OpenAI의 Codex 및 Sora에 대한 하이브리드 크레딧 시스템을 통한 액세스 확장

OpenAI는 Codex와 Sora를 위한 실시간 액세스 엔진을 도입했으며, 사용자가 속도 제한에서 구매 가능한 크레딧으로 원활하게 전환할 수 있도록 합니다. 이 하이브리드 시스템은 사용량 한도에 도달한 사용자도 작업을 중단 없이 계속할 수 있게 하면서 OpenAI는 시스템 성능과 공정성 제어를 유지합니다.

하이브리드 액세스 모델: 속도 제한과 크레딧 결합

OpenAI는 기존의 속도 제한 및 사용량 기반 청구의 한계를 해결하기 위해 하이브리드 액세스 모델로 전환했습니다. 기존의 속도 제한은 한도에 도달하면 작업을 중단하도록 강제하여 사용자 경험을 저하시킬 수 있으며, 순수 사용량 기반 청구는 첫 토큰부터 요금을 부과함으로써 초기 탐색을 억제할 수 있습니다.

새 시스템은 decision waterfall 로 작동하며, 시스템은 모든 요청에 대해 특정 순서대로 액세스를 평가합니다:

Rate Limits: 시스템은 먼저 사용자가 할당된 속도 제한 내에 있는지 확인합니다.
Free Tiers: 속도 제한이 초과된 경우, 시스템은 사용 가능한 무료 티어 할당을 확인합니다.
Credits/Promotions: 이전 단계가 소진된 경우, 시스템은 구매된 크레딧 또는 프로모션 잔액을 확인합니다.
Enterprise Entitlements: 마지막으로, 시스템은 특정 엔터프라이즈 수준 권한을 확인합니다.

이 아키텍처는 사용자가 시스템을 수동으로 전환하지 않고도 단일 흐름을 유지하도록 하여, 크레딧 사용으로의 전환을 최종 사용자에게 보이지 않게 합니다.

실시간 정확성을 위한 사내 인프라

OpenAI는 실시간 정확성과 완전한 조정 가능성이라는 두 가지 주요 기술 요구 사항을 충족하기 위해 타사 계량 플랫폼 대신 사내에서 이 시스템을 개발했습니다.

실시간 의사결정

Codex와 Sora와 같은 인터랙티브 제품의 경우, 사용량 집계 지연은 잔액 불일치나 예기치 않은 차단을 초래할 수 있습니다. 사내 솔루션은 사용자가 한도에 도달하고 사용 가능한 크레딧이 있는지를 즉시 파악하게 하여, 동일한 요청 내에서 원활한 전환을 보장합니다.

가시성 및 신뢰

사용자 신뢰를 유지하기 위해 OpenAI는 요청이 허용되거나 차단된 정확한 이유, 사용된 사용량, 적용된 특정 잔액을 감사할 수 있는 기능이 필요했습니다. 이를 decision waterfall에 직접 통합함으로써 별도의 청구 플랫폼이 제공할 수 없는 투명성을 확보합니다.

사용량 및 잔액 시스템의 기술 아키텍처

분산 사용량 및 잔액 시스템은 다음 메커니즘을 통해 동기식 액세스 결정을 내리도록 설계되었습니다:

Usage Tracking: 시스템은 실시간으로 사용자별 및 기능별 사용량을 추적합니다.
Window Management: 시스템은 수요를 완화하기 위해 속도 제한 윈도우를 유지합니다.
Balance Maintenance: 시스템은 실시간 크레딧 잔액을 추적하고 스트리밍 비동기 프로세서를 통해 멱등적으로 차감합니다.

각 요청은 속도 제한을 동기식으로 소모하고 크레딧을 검증하는 단일 평가 경로를 따르며, 최종 결과를 반환하고 크레딧 차감은 비동기적으로 정산합니다.

입증 가능한 청구 정확성 보장

OpenAI는 잘못된 청구를 방지하기 위해 엄격한 시행보다 입증 가능한 정확성을 우선시합니다. 시스템은 세 개의 상호 연결된 데이터셋을 활용하여 완전한 감사 추적을 생성합니다:

Product Usage Events: 청구 여부와 관계없이 모든 사용자 활동을 기록합니다.
Monetization Events: 사용자가 청구된 항목을 기록합니다.
Balance Updates: 크레딧 잔액이 어떻게, 왜 조정되었는지를 기록합니다.

정확성을 위한 구현 세부 사항

Idempotency Keys: 모든 이벤트는 재시도, 재생 또는 워커 재시작 시 이중 청구를 방지하기 위해 안정적인 멱등성 키를 사용합니다.
Asynchronous Balance Updates: 잔액 업데이트는 거의 실시간이지만 비동기적입니다. 이는 감사 추적을 생성하고 배치 조정을 가능하게 합니다. 이 지연으로 사용자가 크레딧 잔액을 초과하면 OpenAI가 자동으로 차액을 환불합니다.
Atomic Transactions: 크레딧 잔액 감소와 잔액 업데이트 기록은 단일 원자적 데이터베이스 트랜잭션으로 삽입됩니다. 업데이트가 계정별로 직렬화되므로 동시 요청이 동일한 크레딧을 동시에 사용하려는 경쟁이 발생하지 않습니다.
Attribution: 모든 잔액 업데이트 기록에는 차감 금액과 이를 트리거한 청구 이벤트에 대한 직접 링크가 포함됩니다.