OpenAI GPT-6 Astra 在 Ironclad 合同任务中实现 32% 的性能提升
TL;DR
OpenAI 发布了 GPT‑6 Astra,这是一个针对 Ironclad 合同工作流程微调的前沿语言模型,在一系列 11 个真实世界任务中,其得分比 GPT‑5.6 Sol 高出 32 %,同时执行速度加快了 48 %。
合作概述
OpenAI 正与少数软件公司合作,将高价值、领域特定的工作流程转化为研究问题。Ironclad 是该领域的领导者,也是首个合作伙伴。双方共同定义了具体任务,提供了托管环境供模型练习,并建立了详细的评估标准。
"Ironclad 的专业知识在定义成功标准方面发挥了关键作用……并直接将真实客户的需求带入前沿模型的开发中。" – OpenAI 官方公告
将合同工作流程转化为训练任务
法律运营用例 – 该团队识别出 11 个具有代表性的任务,涵盖法律、商业和采购工作(例如,配置保密协议、构建采购审批流程、根据司法管辖区更新可复用条款)。一名经验丰富的人员通常需要 30–40 分钟完成每个任务。
任务设计 – 每个任务均根据 8–50 项标准进行评估,从而深入洞察模型的优势与不足。Ironclad 提供了其产品的沙盒实例,使模型能够直接执行这些任务。
训练流程 – 研究人员生成了工作流程的合成变体,并应用基于人类反馈的强化学习(RLHF),使模型能够反复练习并接收纠正信号。
GPT‑6 Astra 的性能
| 模型 | 平均得分 | 每次尝试的平均耗时 |
|---|---|---|
| GPT‑6 Astra(最大推理) | 55.0 % | 19.2 分钟 |
| GPT‑5.6 Sol(高推理) | 41.6 % | 37.0 分钟 |
| 内部 Astra 原型 | 63.7 % | – |
Astra 的得分比 Sol 高出 32 %(55.0 % 对比 41.6 %),其每次尝试的估算耗时也低了 48 %(19.2 分钟 对比 37.0 分钟)。在并排视频演示中,Astra 在约 20 分钟内满足了约 94 % 的任务标准,而 Sol 在约 32 分钟内满足了约 85 % 的标准。
对 Ironclad 和企业软件的影响
规则保真度 – 合同平台必须在众多例外路径中强制执行业务规则。Astra 在多步骤工作流程中保持这些规则的能力表明,代理可以越来越多地处理高风险的专业任务,尽管仍需人类监督。
产品机会 – 随着模型性能的提升,Ironclad 可以在其整个产品套件中嵌入这些模型,自动完成重复性的合同配置,同时保留法律团队所需治理控制。
招募更多合作伙伴
OpenAI 邀请少量软件公司加入此研究项目。理想合作伙伴需满足以下条件:
- 提供当前代理无法可靠完成的具体、高影响力的专业任务。
- 提供清晰的失败示例和成功指标。
- 提供领域专家和安全的测试环境。
- 提供可用于研究的安全数据。
这些合作旨在揭示现实世界中的失败模式,衡量改进效果,并加速在复杂专业领域部署强大 AI 代理的进程。
所有性能数据均来自 OpenAI 内部研究评估,未经独立审计。