OpenAI プロンプトキャッシュ API リリース

OpenAI は Prompt Caching を開始しました。この機能により、開発者は最近使用された入力トークンを再利用することでコストとレイテンシを削減できます。特に、長いマルチターン会話や大規模なコードベースへの繰り返し編集を伴うアプリケーションに有益です。

プロンプトキャッシュの価格設定とモデルの利用可能性

Prompt Caching は、GPT-4o、GPT-4o mini、o1-preview、o1-mini の最新バージョン（ファインチューニング版を含む）に自動的に適用されます。キャッシュされた入力トークンは、キャッシュされていない入力トークンに比べて 50% の割引価格です。

モデル	キャッシュなし入力トークン	キャッシュ済み入力トークン	出力トークン
gpt-4o-2024-08-06	$2.50	$1.25	$10.00
GPT-4o fine-tuning	$3.75	$1.875	$15.00
gpt-4o-mini-2024-07-18	$0.15	$0.075	$0.60
GPT-4o mini fine-tuning	$0.30	$0.15	$1.20
o1-preview	$15.00	$7.50	$60.00
o1-mini	$3.00	$1.50	$12.00

技術的実装とキャッシュロジック

Prompt Caching は 1,024 トークンを超えるプロンプトに自動的に適用されます。システムは、以前に計算されたプロンプトの最長プレフィックスをキャッシュし、最小 1,024 トークンから開始し、128 トークンずつ増加させます。

開発者は割引を受けるために API 統合を変更する必要はありません。システムが共通のプレフィックスを自動的に検出し、キャッシュを適用します。

キャッシュの監視とライフサイクル

API のレスポンスには usage フィールド内に cached_tokens 値が含まれるようになり、開発者はキャッシュ使用量を監視できます。

キャッシュは非アクティブ期間に基づいて管理されます：

• キャッシュは通常、5〜10 分の非アクティブ状態の後にクリアされます。
• キャッシュは最終使用から 1 時間以内に必ず削除されます。

プライバシーとセキュリティ

プロンプトキャッシュは組織間で共有されず、キャッシュされたデータは分離されたままです。この機能は OpenAI のエンタープライズプライバシーコミットメントの対象となります。