第三时刻研究如何借助 OpenAI Codex 和 GPT-6 运行 10,000 个智能体超过 36 小时
摘要
第三时刻研究同时运行 10,000 个智能体,进行持续 36–48 小时的调查,使用 OpenAI Codex、GPT-6 Astra、GPT-6 Sol 和 GPT-6.1 Sol。该系统是一个自我改进的 AI 循环:模型分析智能体行为,识别反复出现的弱点,围绕这些问题生成合成场景,并在新问题出现时改进智能体。Daybreak 自动化了这些智能体工作环境的安全测试。
第三时刻研究构建了什么
第三时刻研究正在构建一个自我改进的 AI 系统,其设计理念是:最好的智能体应当非常擅长公司特定的工作流程、工具、边缘情况和成功定义,并且使用越多,改进越大。
该公司使用 OpenAI 模型来理解智能体行为,识别反复出现的弱点,并自动围绕这些问题创建数千个合成场景。第三时刻研究随后利用这些场景来改进其智能体,随着新问题的出现重复这一过程。
Codex、GPT-6 Astra、GPT-6 Sol 和 GPT-6.1 Sol 支持该系统的研究和计算工作。这种组合使第三时刻研究能够同时运行 10,000 个智能体,进行持续 36–48 小时的调查。该公司还使用 Daybreak 来测试智能体工作环境的安全性。
“在单次会话中,GPT-6.1 Sol 能够在数天的计算中保持连贯的计算研究线索,不会丢失主线。”
—Adam Khakhar,第三时刻研究联合创始人
Codex 将回测运行时间从约 3 小时缩短至约 3–5 分钟
第三时刻研究早期的应用之一是量化金融,这是一个有明确成功衡量标准的领域。团队使用 Codex 来发现并解决研究环境中的问题。
在一个实例中,第三时刻研究使用 Codex 和当时最新的 GPT 模型 GPT-5.6,分析数千条记录的模拟轨迹——智能体的行动和环境响应——以及时间戳和代码库。
Codex 发现了一个瓶颈:跨越一年的订单级美国股票数据回测交易策略需要数小时。在等待期间,智能体反复轮询完成状态,浪费了 token,并用状态检查填满了上下文。
对回测进行剖析并分析其输入和使用情况后,Codex 识别出缓存优化和内存打包技术。Codex 尝试了解决方案并将修复部署到生产环境,将回测时间从约 3 小时减少到约 3 到 5 分钟。这一减少降低了 token 使用和上下文污染,释放了更多智能体的 token 预算用于进一步实验。
智能体框架:Docker 化环境中的 Codex
第三时刻研究为每个智能体提供特定工作所需的工具、信息和环境。对于量化研究,团队在 Docker 化环境中运行默认的 Codex 框架。智能体接收 1 TB 的数据、文档和一个研究仓库,其中包含特征工程、GPU 支持的模型训练、交易策略和模拟模块。
GPT-6 Astra、GPT-6 Sol 和 GPT-6.1 Sol 提供推理能力。Codex 框架为智能体提供行动工具、制定计划、设定目标、生成子智能体,并在工作继续时压缩上下文。
为了解决未完成任务就停止的智能体,第三时刻研究将 Codex 作为外层框架内的子智能体,外层框架由 GPT-6 Sol 或 GPT-6.1 Sol 驱动。外层框架在任务未完成时检查轨迹,并决定是重试、终止作业,还是升级给人工审查。
“Codex 框架非常通用,能够在许多不同领域中使用。”
—Adam Khakhar,第三时刻研究联合创始人
在该研究环境中,智能体致力于改进由第三时刻研究工程师构建的基线交易系统。智能体在历史数据上测试交易策略,评估改进是有意义的还是噪音,并使用每个结果来选择下一个实验。据 Adam 称,他们的工作改进了基线交易系统。
模型演进:从预定实验到根本原因调查
Adam 表示,在 GPT-5.5 之前,模型只能执行用户预定的实验。有了 GPT-5.5 和 GPT-5.6,与 Codex 框架配合的模型可以使用结果来设计后续实验。有了 GPT-6 Astra、GPT-6 Sol 和 GPT-6.1 Sol,智能体可以通过子智能体并行运行数百个实验来调查根本原因。
这一演进帮助智能体探索了团队未曾预料到的研究方向。在一次会话中,GPT-6.1 Sol 识别了非显示交易对某交易所的影响,这些交易在成交量中占比异常大。
“这是一个不明显的发现,我们的研究团队最初没有考虑到。”
—Adam Khakhar,第三时刻研究联合创始人
模型评估与选择
第三时刻研究在优化、机器学习系统和量化研究方面评估模型。它在前沿版本的最高推理设置下进行测试,评估其导航仓库、编写高效代码和维持调查的能力。当前测试还包括 GPT-6 Luna。
“GPT-6.1 Sol 目前是我们使用最多的模型,因为它的 token 效率高。它以最少的 token 完成任务,同时提供与 GPT-6 Astra 相似的表现。”
—Jeffrey Yan,第三时刻研究联合创始人
一个基准测试要求智能体减少实时记分牌服务更新延迟,同时保持输出不变。团队通过将专家设计的解决方案的平均运行时间除以模型解决方案在同一硬件上的运行时间(在正确性约束下)来衡量加速比。据 Adam 称,GPT-6 Astra 带来了最大的加速。
对于针对性工作,包括检查模拟系统中特定安全弱点,团队使用更高效的模型,如 GPT-5.6 Terra。对于深度研究,Adam 认为更强的推理能力可以证明更高的成本是合理的:“在量化金融领域,发现一些有趣信号的价值非常高。”
Daybreak 大规模自动化安全测试
由于有 10,000 个智能体自主运行,第三时刻研究需要一种方法来大规模测试其研究环境的安全性。团队使用 Daybreak 网络安全平台在模拟启动前自动化该测试。
测试检查智能体是否可能突破其研究环境并访问更广泛的网络。
“通过使用 Daybreak,我们能够让智能体自己对模拟进行渗透测试,并测试其基础设施和安全性。”
—Adam Khakhar,第三时刻研究联合创始人
“如果没有 Daybreak,我们将无法大规模自主测试这一点。”
—Adam Khakhar,第三时刻研究联合创始人
路线图:数十万个协作子智能体
第三时刻研究的雄心延伸到公司日常进行的专业工作。对于零售商,这可能意味着在库存短缺或供应商延迟时做出更好的供应链决策。对于工程团队,这可能意味着在大型代码库中找到性能瓶颈。对于文档密集型业务,这可能意味着识别一份文档中的承诺与另一份文档中记录的结果不匹配的地方。
基于 GPT-6 Astra、GPT-6 Sol 和 GPT-6.1 Sol 的推理能力,第三时刻研究计划从个人调查扩展到数十万个协作子智能体。其路线图要求数万亿 token 支持数十个依赖实验链,目标是利用该研究在新挑战出现时自主改进智能体。
对 Adam 来说,这将赋予人们更多能力来塑造智能体学习和工作的方式:
“人类可以处于更有杠杆的位置,他们可以思考如何进行研究和优化研究本身,而不是实际去进行研究。”
—Adam Khakhar,第三时刻研究联合创始人