takahirom/arbigent
AI Agent for testing Android, iOS, and Web apps. Get Started in 5 Minutes. Arbigent's intuitive UI and powerful code interface make it accessible to everyone, while its scenario breakdown feature ensures scalability for even the most complex tasks.
什么是 Arbigent?
Arbigent(Arbiter‑Agent 的缩写)是一个开源框架,用于测试与用户界面交互的 AI 驱动代理。它允许你编写高级的自然语言目标(例如,“登录并搜索视频”),然后在真实或模拟设备(iOS、Android、Web、TV)上运行这些目标。该框架将复杂目标分解为更小的、相互依赖的场景,编排 AI 的操作,并使用基于图像的断言来检查结果。
为什么它很重要
传统的 UI 测试非常脆弱——微小的布局更改就可能破坏脚本。由于 LLM 可以理解 UI,Arbigent 的测试更具弹性:AI 可以适应细微的 UI 变化,从而减轻维护负担。它还通过为非程序员提供可视化 UI 以及为自动化流水线提供代码优先的接口,将 AI 代理测试引入到常规 QA 工作流程中。
核心功能(如 README 所述)
| 分类 | 亮点 |
|---|---|
| 任务分解 | 场景可以相互依赖(例如 login → search)。框架负责编排流程。 |
| 混合工作流 | 用于创建场景的 UI;用于程序化执行的 YAML 文件(arbigent run …)。 |
| 跨平台 | 支持 iOS、Android、Web 和 TV(包括 D‑pad 导航)。 |
| AI 优化 | UI 树过滤、带注释的屏幕截图以及嵌入在辅助功能标签中的可选 AI 提示,以提高模型理解能力。 |
| 经济高效的模型 | 默认为 gpt‑4.1;也适用于更便宜的模型,如 gpt‑4o‑mini。 |
| 可靠性辅助 | AI 驱动的图像断言(通过 Roborazzi)、卡屏检测、重试和带回退缓存的重放。 |
| 可扩展性 | 自定义钩子、用于外部工具的 Model Context Protocol (MCP) 服务器以及可重用场景库(类似于 GitHub Actions)。 |
| Maestro YAML 集成 | 将现有的 Maestro 测试流程作为初始化步骤运行,让你在 AI 接管之前设置确定性的应用状态。 |
| 开源 | 免费使用、修改和分发;鼓励社区贡献。 |
谁会使用它?
- QA 工程师:希望通过点击式 UI 定义测试而无需编写代码的人员。
- 开发人员:希望通过 CLI 和 YAML 配置将 AI 代理测试嵌入到 CI 流水线中的人员。
- 产品团队:需要测试复杂、动态流程(例如,入职引导、视频播放)且传统脚本容易失效的团队。
- 公司:已经使用 Maestro 或其他 UI 自动化工具,并希望在不丢弃现有资产的情况下添加 AI 层。
如何开始(根据 README)
- 从 GitHub 发布页面下载 UI 二进制文件。
- 连接设备(真实或模拟器)并在应用中输入你的 AI 提供商 API 密钥。
- 通过输入自然语言目标在 UI 中创建场景。
- (可选)导入现有的 Maestro YAML 或 Android Studio Journeys 文件以设置应用状态。
- 从 UI 或通过 CLI 运行场景,例如:
arbigent run --project-file=project.yaml --scenario-ids=login-search
作者指出的局限性
- 速度 – 受限于 LLM 延迟和实时 UI 交互(每步约 1‑2 秒)。并行执行(
--shard)和结果缓存可以缓解此问题。 - 成本 – 每个 AI 步骤都会产生 API 费用(例如,使用 GPT‑4o 时每步 0.005 美元)。
- 可靠性 – 仍然取决于设备稳定性;模拟器不稳定可能导致失败。
- 提示工程 – 对于复杂的应用程序可能需要,尽管目标是让模型随时间推移而改进。
以上所有信息均直接取自存储库的 README;未推断出任何额外功能。
相关
- Dispatch
- 项目
- 项目
- 项目
- 项目