OpenAI 企业 API 功能更新 2024年4月

OpenAI 已发布一套面向其 API 客户的企业级功能，旨在提升安全性、管理监督以及组织在扩展 AI 部署时的成本效率。这些更新包括用于安全 Azure 通信的 Private Link、新的 Projects 管理系统、Assistants API 的大幅扩容以及针对承诺使用和异步工作负载的折扣定价。

加强的企业安全与合规

OpenAI 已扩展其安全体系，以最小化互联网暴露并提升企业用户的访问控制。

  • Private Link: 一种新的连接选项，使 Azure 与 OpenAI 之间实现直接通信，降低对公开互联网的暴露。
  • Multi-Factor Authentication (MFA): 现在提供原生 MFA，以满足更严格的组织访问控制要求。
  • Existing Security Framework: 这些新增功能补充了现有的认证和协议，包括 SOC 2 Type II 认证、单点登录（SSO）、AES-256 静态加密以及 TLS 1.2 传输加密。
  • Healthcare Compliance: OpenAI 继续提供业务关联协议（BAAs）以满足 HIPAA 合规要求，并对符合条件的 API 使用场景实施零数据保留政策。

通过项目实现细粒度管理控制

全新的 “Projects” 功能使组织能够在不同内部计划之间实现更精确的监督和资源分配。

  • Scoped Access: 管理员现在可以将角色和 API 密钥限定在特定项目，并对这些项目的模型使用进行限制或授权。
  • Resource Management: 可以为项目级别的使用量和基于速率的限制设定阈值，以防止意外的预算超支。
  • Service Accounts: 项目所有者可以创建服务账户 API 密钥，实现不绑定具体个人用户账户的项目访问。

Assistants API 技术改进

Assistants API 的更新聚焦于提升数据检索规模、改善响应延迟，并提供对模型行为的更细粒度控制。

检索与数据管理

  • file_search Scaling: 检索工具现在支持每个助理最多 10,000 个文件，较之前的 20 上限提升了 500 倍。该工具具备多线程搜索以实现并行查询，并改进了重新排序和查询改写功能。
  • vector_store Objects: 新的向量存储对象可自动完成文件的解析、切块和嵌入。这些存储可以在多个助理和线程之间共享，以简化计费和文件管理。

执行与控制

  • Streaming Support: API 现已支持流式传输，实现实时对话响应。
  • tool_choice Parameter: 开发者现在可以为特定运行显式选择特定工具（如 code_interpreter、file_search 或特定 function）。
  • Fine-tuned Model Support: API 现已支持微调的 GPT-3.5 Turbo 模型，起始于 gpt-3.5-turbo-0125。

成本控制

  • Token Limits: 用户现在可以为每次运行设置最大 token 数量，并限制每次运行中使用的先前和最近消息的数量，以便管理成本。

企业成本管理选项

OpenAI 引入了两种新的定价模式，以降低大批量和非紧急工作负载的成本。

  • Provisioned Throughput: 对于在 GPT-4 或 GPT-4 Turbo 上持续使用每分钟 token（TPM）的客户，可申请预配吞吐量，根据承诺规模提供 10% 至 50% 的折扣。
  • Batch API: 对于非紧急任务——如合成数据生成、离线分类、摘要和模型评估——Batch API 允许异步处理。Batch API 请求的定价比共享价格低 50%，提供更高的速率限制，并在 24 小时内返回结果。

Sources