OpenAI 企業 API 功能更新 2024 年 4 月

OpenAI 為其 API 客戶推出了一套企業級功能，旨在提升安全性、行政監督以及組織在擴展 AI 部署時的成本效益。此等更新引入了用於安全 Azure 通訊的 Private Link、新的 Projects 管理系統、Assistants API 的大幅擴展，以及針對承諾式和非同步工作負載的折扣定價。

加強的企業安全與合規性

OpenAI 已擴充其安全堆疊，以降低網際網路暴露並提升企業使用者的存取控制。

  • Private Link: 一種新的連線選項，可在 Azure 與 OpenAI 之間直接通訊，減少對開放網際網路的暴露。
  • Multi-Factor Authentication (MFA): 現已提供原生 MFA，以符合更嚴格的組織存取控制需求。
  • Existing Security Framework: 這些新增項目補強了現有的認證與協議，包括 SOC 2 Type II 認證、單一登入 (SSO)、靜態 AES-256 加密，以及傳輸中的 TLS 1.2 加密。
  • Healthcare Compliance: OpenAI 繼續提供商業合作協議 (BAA) 以符合 HIPAA 規範，並對符合條件的 API 使用案例實施零資料保留政策。

透過 Projects 進行細緻的行政控制

全新的「Projects」功能讓組織能在不同內部計畫中實施更精確的監督與資源分配。

  • Scoped Access: 管理員現在可以將角色與 API 金鑰限定於特定 Projects，並對該 Projects 限制或允許特定模型。
  • Resource Management: 可設定 Projects 級別的使用量與速率限制，以防止預算意外超支。
  • Service Accounts: Projects 擁有者可建立服務帳戶 API 金鑰，允許與特定個人使用者帳戶無關的 Projects 存取。

Assistants API 技術改進

Assistants API 的更新聚焦於提升資料檢索規模、改善回應延遲，並提供更細緻的模型行為控制。

檢索與資料管理

  • file_search Scaling: 此檢索工具現在支援每個助理最多 10,000 個檔案，較先前的 20 個上限提升 500 倍。此工具具備多執行緒平行搜尋，並改進了重新排序與查詢重寫功能。
  • vector_store Objects: 新的向量儲存物件會自動解析、切分與嵌入檔案。這些儲存可在多個助理與執行緒之間共享，以簡化計費與檔案管理。

執行與控制

  • Streaming Support: API 現已支援串流，以提供即時對話回應。
  • tool_choice Parameter: 開發者現在可以明確選擇特定工具（例如 code_interpreter、file_search 或特定的 function）於特定執行。
  • Fine-tuned Model Support: API 現已支援微調的 GPT-3.5 Turbo 模型，特別是 gpt-3.5-turbo-0125。

成本控制

  • Token Limits: 使用者現在可以設定每次執行的最大 token 數量，並限制每次執行中使用的先前與最近訊息數量，以管理成本。

企業成本管理選項

OpenAI 推出了兩種新定價模式，以降低大量與非緊急工作負載的成本。

  • Provisioned Throughput: 在 GPT-4 或 GPT-4 Turbo 上持續使用每分鐘 token 數 (TPM) 的客戶，可申請預配置吞吐量，根據承諾規模可享有 10% 至 50% 的折扣。
  • Batch API: 對於非緊急任務——例如合成資料生成、離線分類、摘要與模型評估——Batch API 允許非同步處理。Batch API 請求的價格較共享價格優惠 50%，提供更高的速率限制，且在 24 小時內返回結果。

Sources