GPT-3.5 Turbo 微调和 API 更新

OpenAI 已推出 GPT-3.5 Turbo 的微调功能,使开发者能够为特定用例定制模型,以实现更高的性能和可扩展性。此更新意义重大,因为它允许经过微调的 GPT-3.5 Turbo 模型在特定的狭窄任务上匹配或超过基础 GPT-4 模型的能力。

模型定制与性能

微调使开发者能够进行监督微调,以创建独特的用户体验并提升模型性能。根据 OpenAI 的说法,早期测试表明,经过微调的 GPT-3.5 Turbo 版本在某些狭窄任务上可以优于基础 GPT-4。

关键性能改进

开发者可以使用微调来实现模型行为的以下改进:

  • 可控性增强:模型可以被训练以更精确地遵循指令,例如保持特定语言(如德语)或确保输出保持简洁。
  • 可靠的输出格式:微调提高了模型一致生成特定格式的能力,这对于涉及代码补全或生成 API 调用的应用至关重要,例如将提示转换为高质量的 JSON 片段。
  • 自定义语调:企业可以将模型的输出与其特定的品牌声音和定性感受保持一致,以确保用户交互的一致性。

效率与成本降低

对 GPT-3.5 Turbo 进行微调使企业能够通过将指令直接嵌入模型来缩短提示。早期测试者已将提示大小减少了高达 90%,这导致 API 调用更快且运营成本降低。

此外,新的微调功能支持 4k tokens 的上下文窗口,这是 OpenAI 之前微调模型容量的两倍。

数据隐私与未来路线图

通过微调 API 发送的数据归客户所有,且不会被 OpenAI 或任何其他组织用于训练其他模型。

OpenAI 已概述了以下即将在今年秋季推出的更新:

  • GPT-4 微调:对 GPT-4 进行微调的支持计划在今年秋季晚些时候发布。
  • 高级功能:对带有函数调用的微调以及 gpt-3.5-turbo-16k 模型的支持也将在今年秋季晚些时候推出。

Sources