OpenAI エンタープライズ API 機能アップデート 2024年4月

OpenAI は、AI デプロイメントをスケールさせる組織向けに、セキュリティ、管理監視、コスト効率を向上させることを目的としたエンタープライズ向け機能のスイートを API 顧客向けにリリースしました。これらのアップデートでは、セキュアな Azure 通信のための Private Link、新しい Projects 管理システム、Assistants API の大幅なスケーリング、そしてコミットされた非同期ワークロード向けの割引価格が導入されます。

強化されたエンタープライズ セキュリティとコンプライアンス

OpenAI は、インターネットへの露出を最小限に抑え、エンタープライズユーザーのアクセス制御を向上させるために、セキュリティスタックを拡張しました。

  • Private Link: Azure と OpenAI 間の直接通信を可能にする新しい接続オプションで、オープンインターネットへの露出を減らします。
  • Multi-Factor Authentication (MFA): 組織の厳格なアクセス制御要件に対応するため、ネイティブ MFA が利用可能になりました。
  • Existing Security Framework: これらの追加は、SOC 2 Type II 認証、シングルサインオン (SSO)、保存時の AES-256 暗号化、転送時の TLS 1.2 暗号化など、既存の認証とプロトコルを補完します。
  • Healthcare Compliance: OpenAI は、HIPAA コンプライアンスのための Business Associate Agreements (BAAs) と、対象となる API 使用ケース向けのデータ保持なしポリシーを引き続き提供しています。

Projects による細粒度の管理コントロール

新しい「Projects」機能により、組織は異なる内部イニシアチブ間で、より正確な監視とリソース割り当てを実施できます。

  • Scoped Access: 管理者は、ロールと API キーを特定のプロジェクトにスコープ設定でき、プロジェクトごとに特定のモデルを制限または許可できます。
  • Resource Management: プロジェクトレベルの使用量とレートベースの制限を設定し、予期しない予算超過を防止できます。
  • Service Accounts: プロジェクト所有者はサービスアカウント API キーを作成でき、特定の個人ユーザーアカウントに紐付かないプロジェクトアクセスを提供します。

Assistants API の技術的改善

Assistants API のアップデートは、データ取得のスケール拡大、応答レイテンシの改善、そしてモデル動作の細かな制御を提供することに焦点を当てています。

取得とデータ管理

  • file_search Scaling: 取得ツールは、アシスタントあたり最大 10,000 ファイルをサポートするようになり、以前の上限 20 件から 500 倍に増加しました。このツールは、並列クエリのためのマルチスレッド検索、さらに改善された再ランク付けとクエリ書き換えを備えています。
  • vector_store Objects: 新しいベクトルストアオブジェクトは、ファイルのパース、チャンク化、埋め込みを自動化します。これらのストアは複数のアシスタントやスレッド間で共有でき、課金とファイル管理を簡素化します。

実行と制御

  • Streaming Support: API はリアルタイム会話応答のストリーミングをサポートするようになりました。
  • tool_choice Parameter: 開発者は、特定の実行に対して特定のツール（code_interpreter、file_search、または特定の function など）を明示的に選択できるようになりました。
  • Fine-tuned Model Support: API はファインチューニングされた GPT-3.5 Turbo モデルをサポートし、特に gpt-3.5-turbo-0125 から利用可能です。

コスト管理

  • Token Limits: ユーザーは、実行ごとの最大トークン数を設定し、各実行で使用される過去および最近のメッセージ数を制限してコストを管理できるようになりました。

エンタープライズ コスト管理オプション

OpenAI は、大量かつ非緊急のワークロードのコスト削減のために、2 つの新しい価格モデルを導入しました。

  • Provisioned Throughput: GPT-4 または GPT-4 Turbo のトークン/分（TPM）使用量が継続的にある顧客は、プロビジョンドスループットをリクエストでき、コミットサイズに応じて 10%〜50% の割引が提供されます。
  • Batch API: 合成データ生成、オフライン分類、要約、モデル評価などの非緊急タスク向けに、Batch API は非同期処理を可能にします。Batch API のリクエストは共有価格の 50% オフで提供され、より高いレートリミットがあり、結果は 24 時間以内に返されます。

Sources