OpenAI DevDay 2023: GPT-4 Turbo, Assistants API, 以及多模态更新

OpenAI 推出了 GPT-4 Turbo，这是一款功能更强且更具成本效益的模型，拥有 128K 的上下文窗口，同时推出了全新的 Assistants API，旨在简化 AI Agent 的创建。这些在 DevDay 上宣布的更新显著扩展了平台的多模态能力，并降低了开发者的使用成本。

GPT-4 Turbo：扩展的上下文与更低的成本

GPT-4 Turbo 是 GPT-4 模型的下一代版本，具有 128K 的上下文窗口，单次提示词即可处理超过 300 页的文本。该模型拥有截至 2023 年 4 月的世界事件更新知识，可通过 gpt-4-1106-preview API 端点使用。

定价与性能

与前代产品相比，GPT-4 Turbo 的价格大幅下降。输入 token 的价格降低了 3 倍（每 1k tokens $0.01），输出 token 的价格降低了 2 倍（每 1k tokens $0.03）。

技术增强

  • 并行函数调用 (Parallel Function Calling)： 开发者现在可以在单条消息中调用多个函数，减少了处理复杂请求所需的往返次数。
  • JSON 模式 (JSON Mode)： 新的 response_format 参数可确保模型生成语法正确的 JSON，提高了使用 Chat Completions API 的开发者的可靠性。
  • 可复现输出 (Reproducible Outputs)： seed 参数的引入允许更一致的补全结果，这对于调试和单元测试至关重要。
  • 对数概率 (Log Probabilities)： OpenAI 即将为 GPT-4 Turbo 和 GPT-3.5 Turbo 提供返回最可能输出 token 的对数概率的支持。

更新后的 GPT-3.5 Turbo

OpenAI 发布了 GPT-3.5 Turbo 的新版本 (gpt-3.5-turbo-1106)，默认支持 16K 上下文窗口。内部评估显示，在生成 JSON、XML 和 YAML 等格式遵循任务方面，性能提升了 38%。

Assistants API：构建 AI Agent

Assistants API 允许开发者通过创建具有特定指令和工具访问权限的定制化 AI，来构建“类 Agent”的体验。一项核心创新是使用了持久且无限长的线程 (persistent and infinitely long threads)，这将状态管理交给了 OpenAI，并绕过了传统的上下文窗口限制。

集成工具

  • 代码解释器 (Code Interpreter)： 使助手能够在沙盒环境中编写并执行 Python 代码，以解决数学问题或生成图表。

  • 检索 (Retrieval)： 允许助手访问专有的领域数据或用户提供的文档，而无需开发者实现自己的嵌入 (embedding) 或分块 (chunking) 算法。

  • 函数调用 (Function Calling)： 允许助手调用自定义定义的函数，并将响应整合到其消息中。

新的多模态能力

OpenAI 扩展了 API，纳入了视觉、图像生成和语音合成功能：

  • 具备视觉能力的 GPT-4 Turbo： 通过 gpt-4-vision-preview 访问，允许模型分析图像、生成说明文字并阅读包含图表的文档。
  • DALL·E 3： 现在可通过 Images API (dall-e-3) 使用，允许开发者以编程方式生成具有内置审核机制的图像。
  • 文本转语音 (TTS)： 新的 API 提供具有人类质量的文本转语音功能，拥有六种预设声音和两种变体：tts-1（针对实时优化）和 tts-1-hd（针对质量优化）。

模型定制与微调

OpenAI 正在引入两种模型定制路径：

  1. GPT-4 微调 (Fine-Tuning)： 正在建立一个用于 GPT-4 微调的实验性访问计划，尽管初步结果表明，与 GPT-3.5 相比，获得显著收益所需的投入更多。
  2. 定制模型计划 (Custom Models Program)： 这是一个针对拥有海量专有数据集（数十亿 token）的组织的限量、高成本计划，旨在与 OpenAI 研究人员合作，从预训练阶段开始训练定制的 GPT-4 模型。

平台基础设施与法律保护

定价与速率限制

OpenAI 降低了整个平台的定价。值得注意的是，GPT-3.5 Turbo 16K 的输入 token 现在便宜了 3 倍（每 1k tokens $0.001），输出 token 便宜了 2 倍（每 1k tokens $0.002）。此外，所有付费 GPT-4 客户的每分钟 token 限制都已翻倍。

版权护盾 (Copyright Shield)

OpenAI 推出了“版权护盾”，承诺如果客户在使用 ChatGPT Enterprise 和开发者平台的通用功能时面临版权侵权索赔，OpenAI 将为其辩护并承担法律费用。

开源发布

  • Whisper large-v3： 下一代开源自动语音识别 (ASR) 模型，提升了多语言性能。
  • Consistency Decoder： 一个开源的 Stable Diffusion VAE 解码器替代方案，改进了与 Stable Diffusion 1.0+ VAE 兼容的图像中文字、面部和直线部分的渲染效果。

Sources