应对转变:从 AI Agentic Loops 到确定性系统

业界对复杂、自主的 AI agentic loops 和反馈链的日益痴迷是不可否认的。这些系统承诺了前所未有的自动化和适应性,但它们本质上也会引入重大挑战:高延迟、非确定性、较低的准确性以及更高的运营成本。这往往导致工程师们处于一个关键的转折点,即最初对 agentic AI 的向往让位于生产环境的实际需求。

本文深入探讨了那些经历过这一转变的工程师们的经验,即从复杂的 AI agents 转向更简单、更具确定性的系统架构。我们研究了促使此类转变的具体失效模式和产品生命周期阶段,并强调了在何时以及为何确定性方法被证明是更优越的工作工具。

Agentic AI 的诱惑与局限

从设计上看,AI agentic loops 旨在模仿人类的推理和行动,通常涉及迭代步骤、自我修正和动态决策。虽然对于开放式问题或探索性任务非常强大,但其固有的复杂性引入了变量,这些变量在需要高可靠性和可预测性的生产系统中可能会产生不利影响。核心挑战在于如何在 AI agents 的灵活性与运营效率的严格要求之间取得平衡。

何时确定性占优:转变的关键触发点

当特定的运营瓶颈或性能问题出现时,工程师们经常发现自己需要重新评估 agentic 方法。这些关键的失效模式通常会将团队推向更具确定性的解决方案:

可扩展性与定义明确的流程

从 agentic AI 转向其他方案最常见的原因之一是当一个流程变得定义明确且需要高吞吐量时。对于像事务处理这样的任务,其结果必须精确且一致,AI agents 的非确定性和延迟变得难以承受。

"When you have a flow well defined, like transactions going on, it simply doesn't scale." – @mickelsen

确定性系统凭借其可预测的性能和清晰的逻辑,更适合高容量、重复性的操作,在这些操作中,每一步都需要可靠地执行且不偏离预定路径。

成本与延迟开销

与 AI 模型(尤其是大语言模型 LLMs)的频繁交互会产生显著的成本并引入延迟。对于许多业务运营而言,累积的费用和时间延迟可能会迅速超过 agentic 方法带来的感知收益。

"One of our clients decided that calling the AI so often is takes time, and money, and this does not work for him." – @sminchev

当应用程序需要快速响应或在预算有限的情况下运行时,连续的 AI 推理开销可能成为寻求更简单、更高效的确定性替代方案的主要驱动力。

可靠性与非确定性

关键业务决策或自动化动作往往要求绝对的可靠性。AI agents 从本质上讲可能会在输出中表现出变异性,这使得它们不适合在一致性和问责制至关重要的场景中。无法保证特定结果或追踪确切的推理路径可能是一个重大缺陷。

"AI can give suggestions, not decisions. IF you want decisions and responsibility to be taken, use real people." – @sminchev

对于需要确定性动作和明确责任归属的任务,人类的监督或严格定义的确定性逻辑通常比自主的 AI 决策更受青睐。

可维护性与对自动化的信任

由于 agentic loops 的不透明性和动态行为,调试和维护复杂的 agentic loops 可能具有挑战性。确保一个自动化流程始终如预期般执行,特别是在与外部系统交互时,需要一种在没有广泛监督的情况下,agentic AI 往往难以提供的信任度。

"I don't have to 'trust' agentic operations in automated processes. They are always overseen by me and they are rarely creating things I couldn't have created myself. It's just much faster to iterate on it with these tools。"

这种情绪反映了对底层逻辑透明且可控的系统的偏好,从而降低了意外行为的风险并简化了故障排除。

混合方法:将 AI 作为工具,而非 Agent

远离全自主的 agentic loops 并不意味着完全放弃 AI。相反,许多工程师采用了混合策略,将 AI 集成在支持性角色中,而不是作为自动化流水线中的主要决策者或执行者。

AI 用于分析、告警与调查

AI 擅长模式识别和异常检测。与其运行核心操作,AI 可以有效地部署在以下方面:

  • 分析: 筛选大型数据集以发现洞察。

  • 告警: 通知人类操作员关于异常活动或潜在问题。

  • 调查: 帮助诊断现有确定性流程中的故障。

"But AI can then be used for analysis, alerts and investigating failures of such processes very nicely." – @mickelsen

AI 用于脚本生成与开发加速

另一个强大的应用场景是使用 LLMs 作为开发加速器。与其让一个 LLM 运行 一个自动化流程,不如让它 生成 随后独立执行的确定性脚本和逻辑。

"I'd rather have the LLM create a script to parse the data and do that automatically... No LLM is involved in the automated portion of this process." – @tstrimple

这种方法利用了 AI 的生成能力来加速开发和迭代,从而确保生成的生产系统是健壮、确定性的,并且独立于实时的 LLM 调用。生成的脚本随后可以使用原生 OS 调度器进行计划和运行,从而提供一个具有韧性的且可预测的 workflow 任务流。

AI 用于准备人类审查的输入

在需要人类判断的场景中,AI 可以充当智能助手,为审查准备并汇总信息。这涉及使用 agents 来汇编 'transaction packages' 或客户服务案例,以便人类进行最终决策,从而确保结果清晰明确。

结论

从复杂的 AI agentic loops 到更简单、确定性系统的转变,通常是由生产环境的务实实情驱动的。虽然全自主 agents 的前景很吸引人,但可扩展性、成本、成本、延迟、可靠性、和可维护性方面的实际挑战经常需要重新评估。工程师们的见解表明,对于核心运营任务,确定性系统提供了更优越的性能和信任度。AI 的真正实力往往不在于在关键循环中进行自主决策,驱动了人类的能力,增强了人类的能力,加速了开发,并在定义明确、人类监督下的框架内提供智能分析或准备性支持。

Sources