Vision Agents vs. Structured APIs: A Performance Showdown for Internal Tools

AI agents 的兴起有望彻底改变我们与软件（尤其是 Web 应用）的交互方式。在部署这些 agent，特别是在企业环境中时，一个根本性的挑战是它们如何与现有工具进行接口对接。目前出现了两种主要的范式：vision agents，通过用户界面 (UI) 像人类一样与应用进行交互；以及 API agents，利用结构化的应用程序编程接口 (APIs)。

对于拥有众多内部工具的组织而言，这种比较至关重要，因为自动化的效率和可靠性会显著影响生产力和运营成本。最近的一项实验揭示了在执行一项常见的内部工具操作任务时，这两种方法在性能和资源消耗方面的显著差异。

The Challenge of Automating Internal Tools

企业环境通常拥有 20 个或更多内部 Web 应用，每个应用都服务于特定的业务功能。在这些多样化的工具之间实现任务自动化是一项复杂的工程。传统上，这需要为每个应用开发定制的集成或 APIs，这是一个资源密集型的过程。Vision agents 提供了一个极具吸引力的替代方案，因为它似乎绕过了对显式 APIs 的需求，允许 AI 直接通过其视觉界面操作 Web 应用。

然而，这种看似简单的做法往往掩盖了潜在的低效和复杂性，正如在一项实际任务上的直接对比所展示的那样。

Experiment Setup: A Real-World Task

为了评估这两种方法，实验是在一个 Reflex port 的 React demo 上进行的，模拟了一个小型企业的管理面板。所选任务是多步骤的，且具有典型内部操作的代表性：

Identify the customer named "Smith" with the highest number of orders.
Accept all pending reviews associated with that "Smith."
Mark their most recent order as delivered.

这项任务需要导航 UI、提取信息、做出决策并执行多个动作，为两种 agent 类型提供了一个强大的测试平台。

Performance Metrics: Vision Agents

Vision agent 专为 browser-use 和 computer-use 而设计，无需显式 APIs，它表现出了显著的开销和波动性。在三次运行 (n=3) 中，中位数结果如下：

Steps: 47 round-trips
Tokens: 495,000 tokens
Time: Approximately 14 minutes (853-1296 seconds)

至关重要的是，vision agent 在处理任务的抽象性质时显得很吃力，最初未能完成任务。它需要一个 14 步的 UI walkthrough 来引导其操作。即使有了这种引导，它的 47 次 round-trips 每次都涉及传输完整的页面截图，这导致了高 token 计数和延长的执行时间。运行时间 (853 到 1296 秒) 和 token 使用量 (407k 到 751k tokens) 的巨大差异进一步凸显了其不一致性。

Performance Metrics: API Agents

与此形成鲜明对比的是，API agent 表现出了卓越的效率和可靠性。对于同一任务，在五次运行 (n=5) 中，中位数结果如下：

Calls: 8 API calls
Tokens: 12,000 tokens
Time: 19.7 seconds

API agent 的运行结果紧密聚集，表明其具有高度的一致性和可预测性。步骤、tokens 和执行时间的剧烈减少，强调了通过专为程序化访问设计的结构化接口与应用进行交互的内在效率。

The Cost of "Lazy" Interface Design

实验结果清楚地说明了“为创建 agent-friendly 接口而偷懒所带来的成本”。虽然 vision agents 提供了一种与任何 Web UI 交互的即时满足感，但这种便利是以计算资源、执行时间以及可靠性方面的沉重代价换出的。由于需要大量的 UI walkthroughs 且性能表现出高方差，这表明 vision agents 虽然在非结构化探索方面很强大，但不太适合需要精确度和效率的重复性、关键任务型工作。

The API Solution: Auto-Generated Endpoints

API 驱动自动化传统的障碍在于需要为每个内部工具开发和维护 API。然而，这一现状正在发生变化。本次实验中使用的 API endpoints 并非手动构建，而是由 Reflex 0.9 附带的插件自动生成的。这一进展显著降低了创建 agent-friendly 接口的门槛，使 API-first approach 更加易于实现且更具扩展性，适合企业团队。

通过利用能够通过结构化 APIs 自动暴露应用功能的工具，组织可以为他们的 AI agents 配备精确、高效且可靠的接口，使其能够快速且一致地执行复杂任务。这种转变不仅仅是观察 UI，而是直接操作底层数据和逻辑，从而解锁了更高层级的自动化能力。

Conclusion

Vision agents 与 API agents 在内部工具自动化方面的对比揭示了清晰的胜者，即在效率、速度和可靠性方面。虽然 vision agents 提供了一种广泛的、通用型的 UI 交互方式，

但其高资源消耗、延长的执行时间以及不一致的性能使其不太适合结构化的、重复性的企业级任务。API agents，即使是使用自动生成的 endpoints，也提供了极具优势的方案，使得自动化变得更快、更可预测、且更具 token 效率。对于希望在其内部工具套件中扩展 AI agent 部署的企业而言，投资于结构化的、 agent-friendly 接口（可能通过自动生成方式）不仅是一个选项，而是一项战略性任务。