Intercom 的可持续 AI 优势策略

Intercom 通过投入 1亿美元 重构业务平台并推出 Fin——一个每月解决数百万查询的 AI Agent，成功将生成式 AI 融入其客户服务软件。公司成功归因于向 “AI‑first” 战略的转变，这包括重组产品团队并取消非 AI 项目，以确保 AI 深度嵌入产品核心，而非仅作为功能附加。

Intercom 通过提前且频繁地测试模型，深入了解其局限性和机会，从而保持竞争优势。这种实践性的方法使公司能够在 GPT-4 发布后四个月内推出 Fin，因为团队已经绘制了 GPT-3.5 的能力图谱。

关键技术发现：

  • 任务模型选择：虽然 Intercom 最初为 “Fin Tasks”（自动化退款等复杂工作流）计划使用基于推理模型的堆栈，但评估显示 GPT-4.1 能以更高可靠性和更低延迟完成这些任务。
  • 提示工程：团队发现，对非推理查询使用 chain-of-thought 提示能够有效弥补性能差距。
  • 效率提升：在 Intercom 的评估中，GPT-4.1 在任务完成可靠性上最高，同时相比 GPT-4o 将成本降低了 20%。为确保数据完整性，使用 Pass@k 在五次独立运行中衡量完整度，只有在全部五次运行均成功时才视为完整。

通过严格评估加速部署

Intercom 利用结构化评估流程，快速采用新模型、模态和架构。该框架包括离线测试和实时 A/B 试验，在任何部署之前衡量指令遵循、工具调用准确性和连贯性。

评估方法论

  • 基准测试：模型在真实的支持交互记录上进行测试，以评估其处理多步骤指令、保持品牌语调以及执行函数调用的能力。
  • A/B 测试：实时测试比较不同模型（如 GPT-4 与 GPT-4.1）的解决率和客户满意度。
  • 语音特定指标：针对 Fin Voice（由 Realtime API 提供支持），Intercom 评估个性、语调、打断处理和背景噪音，以确保提供人类质量的电话支持。

这一严格流程使 Intercom 能在数天内从 GPT-4 迁移至 GPT-4.1，评估结果在模型发布后 48 小时内完成。

保持架构灵活性

Intercom 采用模块化、模型无关的架构，使公司能够将查询路由至最合适的模型，并在不重新设计整个系统的情况下替换模型。这种灵活性对于支持包括聊天、电子邮件和语音在内的多种模态至关重要，每种模态都有不同的延迟和复杂度要求。

架构演进

  • 迭代设计：Fin 的架构目前已进入第三次重大迭代，第四次迭代正在开发中，使团队能够在必要时增加复杂度，并在模型提升时简化系统。
  • 复杂度降低：GPT-4.1 在指令遵循能力上的高性能使 Intercom 能够转变 Fin Tasks 的架构，去除更复杂的基于推理的堆栈，从而降低整体延迟和成本。

在全业务范围扩展 AI 能力

通过将模块化架构与先进模型相结合，Intercom 正在将 AI 的效用从基础客户支持扩展到更广泛的业务工作流：

  • 支持团队：使用 Fin AI Agent 解决语音、电子邮件和聊天渠道中大多数入站查询。
  • 运营团队：利用 Fin Tasks 自动化订阅更新、账户变更和退款。
  • 产品团队：借助 MCP Server 让 AI 工具（如 ChatGPT）访问工单、用户数据和对话，帮助细化产品路线图并识别 bug。

SUMMARY: Intercom 通过优先实现早期模型熟练度、严格的评估框架以及支持快速模型切换和成本优化的模块化架构，获得了可持续的 AI 优势。

TITLE: Intercom 的可持续 AI 优势策略

Sources