Asana 利用 GPT-6.1 Sol 优化浏览器代理成本
Asana 通过优化其在 GPT-6.1 Sol 上的工作流，将浏览器代理模型成本降低了 76 倍，执行速度提升了 5 倍。这一成果是通过使用 Codex 中的 GPT-6 Astra 自动化研究和实验过程实现的，将原本需要人类两个月的工作量缩短到了一周。
通过 GPT-6 Astra 实现自动化优化
Asana 利用 Codex 中的 GPT-6 Astra 来识别其浏览器代理代码库中的低效问题，并执行一系列受控实验。该过程包括映射代码库以了解模型请求的构建方式，并测试特定的架构更改以降低成本和延迟。
低效问题识别
GPT-6 Astra 在原始代理工作流中发现了两个主要瓶颈：
- 缓存缺口：虽然固定指令和工具定义被缓存，但不断增长的页面文本和截图历史记录并未被缓存，导致每次请求都以全价重新发送整个历史记录。
- 历史记录易变性：代理几乎在每一步都会频繁地裁剪文本和丢弃截图。这些持续的修改阻碍了有效缓存，有时还迫使代理重新访问已经读过的页面。
实验设计与执行
在识别出这些低效问题后，GPT-6 Astra 重构了代理代码，以支持具有独立设置的并行工作流。随后，它进行了一项包含 144 次运行的研究，测试了四种前沿模型（GPT-6.1 Sol 和其他三个标记为模型 A、B、C 的模型）在不同配置下的表现：
- 历史记录预算：测试了 120,000 和 480,000 个字符的预算。
- 缓存和截图策略：测试了六种不同的策略。最有效的策略允许截图累积到 20 张后重置为最新一张，这使历史记录在更长时间内保持稳定。
性能和成本基准
与原始生产环境中的模型 B 相比，GPT-6.1 Sol 上的优化工作流在成本和速度方面均表现出显著改进。
成本降低
- 总体降低：GPT-6.1 Sol 上的优化工作流平均每次运行成本为 0.47 美元，而原始模型 B 设置至少为 36.21 美元（降低 76 倍）。
- 模型特定收益：对于模型 B，仅优化一项就将成本从每次运行至少 36.21 美元降至 1.24 美元（降低 29 倍）。GPT-6.1 Sol 比优化后的模型 B 便宜 2.6 倍。
- 缓存影响：在 GPT-6.1 Sol 上，新的缓存和截图策略将成本降低了 4 倍（从每次运行 1.97 美元降至 0.47 美元），其中 89% 的输入来自缓存，价格为未缓存价格的 5%。
速度和可靠性
- 执行速度：模型 B 上的原始设置每次运行至少需要 22.5 分钟；GPT-6.1 Sol 上的优化工作流大约需要四分钟。
- 成功率：将 GPT-6.1 Sol 的历史记录预算从较小的预算（18 次运行中成功 3 次）增加到较大的预算后，成功率提升至 18 次运行全部成功（100% 成功率）。
集成与未来发展
Asana 已将这些优化集成到 StackAI 中，并正在开发工具以使这些实验可重复。该公司还在利用 Codex 中的 GPT-6 Astra 进行预发布产品测试，代理会导航平台以向人工 QA 审核人员报告错误。
“这就是人类与代理团队在实践中的样子。工程师设定方向，GPT-6 Astra 运行实验，结果通过 Command 进入生产环境。”
— Arnab Bose，Asana 首席产品官
“交付速度不再是瓶颈；人类的注意力才是。我们正接近一个世界，每个工程师都是领导一支代理舰队的项目经理。”
— Frank Hidalgo，博士，StackAI 首席技术官，Asana
SUMMARY: Asana 通过使用 Codex 中的 GPT-6 Astra 为 GPT-6.1 Sol 优化工作流，将浏览器代理模型成本降低了 76 倍，速度提升了 5 倍。
TITLE: Asana 利用 GPT-6.1 Sol 优化浏览器代理成本