OpenAI 如何构建 ChatGPT 的新型广告技术栈以提升用户信任与相关性

传统广告系统旨在响应离散的用户事件，如搜索查询或页面浏览。然而，由于在像 ChatGPT 这样的对话式 AI 中，用户意图会在多轮对话和会话中逐步发展，OpenAI 构建了一个定制的广告投放系统来支持这一新范式。

这一新型广告技术栈围绕一个定制的、经过后训练的前沿 LLM 构建，该模型充当编排者。这个 LLM 管理整个广告流程——从识别潜在选项（检索）到预测用户参与度（排序）、评估有用性（相关性），以及运行最终拍卖。

对话式广告的架构设计决策

为了在代理式聊天环境中成功集成广告，同时维护用户信任，广告系统实施了三个关键的设计决策。

1. 实现有状态的广告会话

广告系统维护一个有状态的会话，这意味着它会在多轮对话甚至不同会话之间记住并更新信息。这种方法超越了传统广告的请求-响应架构。广告系统不是将每条消息视为独立事件，而是适应不断发展的交流，从而能够跟踪用户的商业目标如何随时间演变。

2. 利用定制的 LLM 编排器

一个定制的、经过后训练的 LLM 解释对话的上下文和潜在意图。该 LLM 使用工具调用架构来编排整个广告流程，根据用户当前轮次和完整对话历史有效地选择、排序和投放广告。

3. 将广告与答案生成分离

广告选择过程在 ChatGPT 正常响应生成之外的独立服务中运行。这种架构边界确保广告流程不会影响 ChatGPT 的有机答案，并保持模型的中立声音。如果广告投放系统失败或变慢，ChatGPT 的核心响应仍会继续不受影响。

LLM 作为广告编排器

核心创新是 LLM 编排器，它通过迭代调用广告系统内的特定工具来管理整个广告流程。编排器的主要目标是在高用户价值和高广告主价值之间取得平衡，始终优先考虑用户体验。

解读不断演变的用户意图

当用户对话进行时，意图可能会发生显著变化。例如，一个以关于跑步的一般性问题开始的对话，后来可能转向关于训练鞋的具体问题。编排器必须解释对早期消息的引用，并识别用户何时在假设性地说话，防止系统仅根据初始查询误读目标。

为了开始这个过程，编排器准备一个或多个代表相关商业意图的查询。这涉及将多轮对话提炼为摘要版本，并创建语义嵌入。这使得检索系统能够专注于商业可能性（例如，[适合徒步旅行的鞋子]），而不是将整个对话压缩成单个字面字符串。

广告选择管道

广告系统作为多阶段管道运行，编排器在每一步调用工具：

• 检索： 编排器使用重写的查询创建语义嵌入。这输入到多个针对近似最近邻（ANN）搜索优化的索引中，快速获取广泛的潜在广告候选池。
• 过滤： 如果候选不符合资格标准，则被淘汰。检查包括创意和活动可用性、政策限制、预算可用性、投放节奏、展示位置兼容性和去重。
• 评估和评分： 通过过滤的候选由多个系统评分。编排器调用这些系统来评估语义相关性、预测参与度（点击/转化的可能性）和历史表现。这缩小了拍卖的候选池。
• 拍卖： 编排器为最终拍卖工具提名上下文合适的候选。拍卖应用最终的投放机制，包括出价计算、质量调整排名、定价和最终选择。
• 最终资格检查： 在投放之前，进行两项检查：广告必须在聊天上下文中感觉合适（即使符合政策），并且广告请求必须及时到达以包含在当前轮次中。

广告投放与系统改进

服务端投放与用户展示

广告投放是一个服务端过程，意味着广告创意（标题、描述、链接）和模型生成的前言被发送到前端。前言与创意分开，以保留广告主的信息，同时保持 ChatGPT 的中立声音。只有当创意在 ChatGPT 响应完全生成之前到达，并且前端显示它（明确标记为赞助）时，广告才会作为展示呈现给用户。

可观测性与自我改进

广告技术栈使用详细的日志记录和数据管道来促进持续改进。记录细粒度的结果，例如某轮不适合广告投放，或检索未返回任何候选。这种详细的分解使团队能够隔离和改进系统的特定部分——无论是机会检测、检索质量还是投放可靠性。

此外，系统采用高能力模型进行基于模型的评估。这些最强的模型观察系统的结果，并训练较小、更高效的编排和检索模型以表现更好，形成一个强大的自我改进循环。

人类反馈的作用

虽然模型能够理解意图，但人类反馈对于塑造品味和产品方向至关重要。反馈通过用户点击和隐藏、用户调查以及广告主通过广告管理器的直接输入来收集，为迭代和产品决策提供信息。

SUMMARY: OpenAI 为 ChatGPT 开发了一套定制的、基于 LLM 的广告技术栈，以处理不断演变的多轮用户意图，通过将广告选择过程与核心答案生成分离来优先考虑用户信任。

TITLE: OpenAI 如何构建 ChatGPT 的新型广告技术栈以提升用户信任与相关性