Amplitude Wave 借助 OpenAI 模型将产品改进周期缩短至 1–2 天

TL;DR: OpenAI 发布了一篇客户案例,描述了 Amplitude 的主动式产品代理 Wave 如何借助 OpenAI 模型,帮助团队将产品改进的交付时间从大约一个月缩短至 1–2 天。该案例之所以重要,是因为它展示了一个生产环境中的代理如何在推理模型、低成本模型和图像模型之间路由任务,然后将实施计划交给 Codex 等编码代理。

OpenAI 发布的内容:关于 Amplitude Wave 代理的客户案例

OpenAI 的这篇文章是关于 Amplitude Wave 产品代理的客户案例,并非新模型的发布。Amplitude 表示 Wave 大约 80% 由 OpenAI 模型驱动,包括 GPT-6.1 Sol、GPT-6 Luna 和 GPT-Image-2.5 Flare。

Wave 将产品洞察转化为实施计划,团队可以将其发送给编码代理(包括 Codex),然后衡量已上线变更的影响。Amplitude 估计,Wave 可以帮助团队在 1–2 天内交付产品改进,而过去大约需要一个月。

在 Amplitude 自己的主页上,Wave 帮助个性化建议卡片,使卡片驱动的发送量提升了 160%。

“AI 现在可以找到我们从未想过要分配给它有价值的工作。OpenAI 的模型可以调查问题、编写并运行代码,并利用结果来决定下一步尝试什么。”

—Spenser Skates,Amplitude 首席执行官

Wave 的工作原理:从产品数据到已交付的改进

Wave 是 Amplitude 的主动式产品代理。团队为其指定一个产品领域以及他们希望改进的目标和指标。然后,Wave 整合 Amplitude 数据、会话回放、客户反馈和代码,以识别并优先排序机会、制定解决方案,并与人员和编码代理协调实施。它跟踪结果,并利用这些经验为下一轮改进提供信息。

当某个机会准备好构建时,团队可以直接从 Wave 将其发送给编码代理(包括 Codex),并附带技术计划和验收标准以指导实施。该工作流旨在将产品分析和用户行为数据与实际交付的变更连接起来,而不是停留在建议层面。

模型路由:不同任务使用不同的 OpenAI 模型

Amplitude 根据每项任务的需求,将不同的 OpenAI 模型分配给 Wave 的不同部分。GPT-6.1 Sol 支持机会管理器和深度代码与数据调查。GPT-6 Luna 处理频繁、低成本的任​​务,例如扫描代码和运行小型评估检查。GPT-Image-2.5 Flare 使用会话回放中的截图作为视觉参考来生成产品模型。

这种路由反映了质量、延迟和成本之间的权衡。深度调查需要强大的推理能力和充分支持的结论,而重复数百次的小型检查则需要快速且廉价。Amplitude 评估每项任务的质量、延迟和成本,然后相应分配模型。

“OpenAI 同时为我们提供了强大的推理模型和更小、更快的模型,因此我们可以在整个产品中平衡质量、延迟和推理成本。”

—Spenser Skates,Amplitude 首席执行官

评估结果:GPT-6.1 Sol 在调查中领先,并在数据科学中权衡成本

对于 Wave 的机会调查器,Amplitude 评估了模型是否证实了发现、避免了误报、纳入了评估者反馈、从工具故障中恢复,以及保持声明与证据一致。GPT-6.1 Sol 总体得分为 4.06/5,而三个替代模型的得分分别为 3.62、3.52 和 2.94。它在所有五项调查标准上均领先,并且中位调查时间最快,为 54 分钟。

在 Wave 数据科学代理的单独评估中,GPT-6.1 Sol 得分为 67.5/100,而另一个领先模型为 69.3,平均模型成本为每次调度 1.28 美元,而后者为 2.63 美元。GPT-6.1 Sol 在工具契约合规性、估计和不确定性以及证据基础方面也得分更高。

在生成线框和模型方面,OpenAI 的图像生成模型在解决方案线框上得分为 80.3/100,而另一个图像生成模型为 63.9。Amplitude 的评估涵盖了 15 个机会的沟通质量、产品保真度、指令遵循、文本和 UI 清晰度以及视觉连贯性。

主页实验:个性化建议卡片带来 160% 的提升

Amplitude 在自己的主页上测试了 Wave,主页上的通用建议卡片旨在帮助用户与 AI 代理开始对话。Wave 发现人们经常绕过这些卡片:在 100 个会话回放的样本中,80 位用户输入了自己的问题,只有 12 位选择了建议。

Wave 建议使用最近的图表、仪表板或用户来源页面来个性化卡片。它展示了这一变更,并制定了技术计划,包括保留自由输入以及在个性化上下文不可用时显示通用建议。经过简短审查后,团队将工作交给编码代理,并对变更进行了 A/B 测试。

在 Amplitude 分享的实验结果中,通过主页建议卡片发送的消息在一天后相对于对照组增加了 160%。

“这是一个很好的例子,说明那些被忽视的非突破性事物可以以意想不到的方式提高功能的采用率。”

—Eric Carlson,Amplitude 高级首席 AI 工程师

人工控制和发布速度

团队对发布内容保持控制。Wave 分析会话和分析数据,然后制定建议,包括提议的修复、技术计划和验收标准。从那里,团队可以选择自动化程度。大多数团队将错误修复直接发送给编码代理,而新功能和更大的投入则经过人工审查。

对于达到发布阶段的变更,从发现到执行的路径可能很短。在客户启动的实验、功能标志和指南中,四分之一在 Wave 发现机会的当天上线,一半在四天内上线,三分之二在一周内上线。消息来源指出,该曲线是根据提供的里程碑插值得到的,是说明性的,并非个体观察。

下一步

Amplitude 和 OpenAI 将更广泛的目标定义为让自我改进的产品成为公司构建软件的标准方式。随着 OpenAI 模型在推理和编码方面变得更好,团队将能够将更多调查和实施工作委托给代理,目标是更快地向用户提供更好的产品。

“我们与 OpenAI 的雄心是让自我改进的产品成为公司构建软件的方式。”

—Spenser Skates,Amplitude 首席执行官

Amplitude 已经在自己的产品中应用这一工作流,同时团队也在处理其他优先事项。Skates 补充道:“我认为当软件与团队并肩工作以改进产品时,团队会对他们能完成多少工作感到惊讶。”

Sources