OpenAI GPT-6 Astra 在 Ironclad 合同任务中实现 32% 的性能提升

TL;DR

OpenAI 发布了 GPT‑6 Astra,这是一个针对 Ironclad 合同工作流程微调的前沿语言模型,在一系列 11 个真实世界任务中,其得分比 GPT‑5.6 Sol 高出 32 %,同时执行速度加快了 48 %。


合作概述

OpenAI 正与少数软件公司合作,将高价值、领域特定的工作流程转化为研究问题。Ironclad 是该领域的领导者,也是首个合作伙伴。双方共同定义了具体任务,提供了托管环境供模型练习,并建立了详细的评估标准。

"Ironclad 的专业知识在定义成功标准方面发挥了关键作用……并直接将真实客户的需求带入前沿模型的开发中。" – OpenAI 官方公告

将合同工作流程转化为训练任务

法律运营用例 – 该团队识别出 11 个具有代表性的任务,涵盖法律、商业和采购工作(例如,配置保密协议、构建采购审批流程、根据司法管辖区更新可复用条款)。一名经验丰富的人员通常需要 30–40 分钟完成每个任务。

任务设计 – 每个任务均根据 8–50 项标准进行评估,从而深入洞察模型的优势与不足。Ironclad 提供了其产品的沙盒实例,使模型能够直接执行这些任务。

训练流程 – 研究人员生成了工作流程的合成变体,并应用基于人类反馈的强化学习(RLHF),使模型能够反复练习并接收纠正信号。

GPT‑6 Astra 的性能

模型 平均得分 每次尝试的平均耗时
GPT‑6 Astra(最大推理) 55.0 % 19.2 分钟
GPT‑5.6 Sol(高推理) 41.6 % 37.0 分钟
内部 Astra 原型 63.7 % –

Astra 的得分比 Sol 高出 32 %(55.0 % 对比 41.6 %),其每次尝试的估算耗时也低了 48 %(19.2 分钟 对比 37.0 分钟)。在并排视频演示中,Astra 在约 20 分钟内满足了约 94 % 的任务标准,而 Sol 在约 32 分钟内满足了约 85 % 的标准。

对 Ironclad 和企业软件的影响

规则保真度 – 合同平台必须在众多例外路径中强制执行业务规则。Astra 在多步骤工作流程中保持这些规则的能力表明,代理可以越来越多地处理高风险的专业任务,尽管仍需人类监督。

产品机会 – 随着模型性能的提升,Ironclad 可以在其整个产品套件中嵌入这些模型,自动完成重复性的合同配置,同时保留法律团队所需治理控制。

招募更多合作伙伴

OpenAI 邀请少量软件公司加入此研究项目。理想合作伙伴需满足以下条件:

  1. 提供当前代理无法可靠完成的具体、高影响力的专业任务。
  2. 提供清晰的失败示例和成功指标。
  3. 提供领域专家和安全的测试环境。
  4. 提供可用于研究的安全数据。

这些合作旨在揭示现实世界中的失败模式,衡量改进效果,并加速在复杂专业领域部署强大 AI 代理的进程。


所有性能数据均来自 OpenAI 内部研究评估,未经独立审计。

Sources