OpenAI GPT-5.6 发布:性能基准测试与开发者指南
OpenAI GPT-5.6 发布:性能基准测试与开发者指南
OpenAI 发布了 GPT-5.6,这是其前沿模型的又一次迭代。此次发布包括多个模型变体——Sol、Terra 和 Luna——旨在满足不同的性能和效率层级。GPT-5.6 Sol 在 ARC-AGI-3 基准测试中显著创下了 7.8% 的全新最先进 (SOTA) 分数,成为第一个成功击败 ARC-AGI-3 游戏的经过验证的前沿模型。
GPT-5.6 开发者指南
GPT-5.6 在模型响应提示词和图像处理方式上引入了变化。根据官方开发者指南,用户应采用以下策略以实现性能最大化:
- 使用更短的提示词: 内部评估表明,用极简提示词取代冗长、显式的系统提示词可将分数提高约 10–15%,同时减少 41–66% 的总 Token 使用量并降低 33–67% 的成本。
- 优化意图理解: GPT-5.6 更擅长推断用户的潜在目标和预期的工作水平,而无需明确指定每一步。然而,开发者仍应明确说明重要的约束条件、成功标准和审批边界。
- 优化图像细节: 在使用 "original" 或 "auto" 细节设置时,模型现在会保留发送图像的原始尺寸,而不是将其调整为像素尺寸限制或 Patch 预算。
- 避免通用的简洁性指令: 与 GPT-5.5 相比,GPT-5.6 对诸如“请保持简洁”或“请简短一些”之类的指令更加敏感。
- 控制语气温和度: 提示模型表现得更加友好或更具同理心并不会带来显著的性能提升。
模型性能与基准测试
GPT-5.6 Sol 被定位为本次发布中的高性能前沿模型。在 GeneBench 和 LifeSciBench 的对比中,它展现出了相对于 Fable 等竞争对手的显著领先地位,尽管一些用户指出 Fable 在某些对比中被排除在外,因为它在这些评估中拒绝回答了大部分问题。
在实际编程测试中,早期用户反馈褒贬不一。一位测试模型创建小型 RTS 游戏能力的开发者发现 GPT-5.6 Terra 的性能与 GPT-5.5 相似,且略逊于 Sonnet 5。
社区讨论与模型选择
用户对 Sol、Terra 和 Luna 模型的命名规范表示了困惑。用户希望根据具体的使用场景、价格和效率,获得一份更清晰的关于何时使用各变体的指南。
一些社区成员将 OpenAI 在 Token 效率方面的做法与 Anthropic 进行对比,指出相比于“Token 最大化”的方法,他们更倾向于于 OpenAI 专注于降低成本和 Token 使用量的做法。其他人则对基准测试结果是否存在“择优挑选”表示怀疑,特别是针对 5.6 Sol 优于 Fable 的结论。
Sources
- HNGPT-5.6