A9T9/RPA

Ui.Vision – 浏览器与桌面自动化 (A9T9/RPA)

是什么 – Ui.Vision 是一个开源浏览器扩展程序（可选桌面组件），允许您录制、编写和运行自动化宏。它结合了经典的网页自动化（Selenium 风格命令）、用于视觉任务的 OCR/图像识别，以及一个 模型上下文协议（MCP）桥接器，使大型语言模型助手（如 Claude Code、Cursor）能够为您生成或编辑宏。

主要功能

• 浏览器自动化 – 填写表单、抓取数据、下载文件、重放录制的操作。
• 视觉自动化 – 使用 OCR 读取屏幕文本，或通过图像匹配点击 HTML 选择器缺失的元素。
• 桌面自动化 – 通过可选的 XModules 可控制原生应用程序或远程桌面。
• AI 辅助脚本 – 内置 AI 助手（或任何 MCP 兼容客户端）可被要求生成宏；助手接收 uiv.* JavaScript API 参考文档，并返回 Ui.Vision 执行的脚本。
• 脚本选项 – 使用内置宏录制器、编写纯文本 Selenium-IDE 命令，或直接使用 uiv.* JavaScript API（同步，无需 async/await）编程。

如何开始

1. 从 Chrome 网上应用店、Edge 扩展程序或 Firefox 扩展程序安装扩展（正常使用无需构建）。
2. 打开 Ui.Vision，录制一个简单任务或加载一个演示宏。
3. 如需 AI 集成，使用 npx uivision-mcp-bridge --setup 安装 MCP 桥接器（需要 Node ≥20 和 npm）。在 Ui.Vision → 设置 → AI 中启用桥接器，并连接您的 LLM 客户端。
4. 向助手提出自然语言指令（例如：“打开 https://example.com，读取标题，并保存宏”）。助手将生成 uiv.* 调用，您可以审查、编辑并运行。

开发者说明

• 仓库包含扩展程序源码（React UI、命令引擎）和 MCP 桥接器。
• 使用 npm i -f && npm run build 构建扩展（Chrome/Edge）或 npm run build-ff（Firefox）。输出位于 dist/ 或 dist_ff/，可作为未打包扩展加载。
• mcp/ 文件夹包含将 LLM 客户端的 MCP 消息转换为宏操作的桥接器。

更多资源

• API 与 AI 编写指南： https://ui.vision/ai/ai-system-prompt
• LLM 用完整纯文本 API： https://ui.vision/llms-full.txt
• Selenium-IDE 命令参考： https://ui.vision/rpa/docs/selenium-ide/
• 社区论坛： https://forum.ui.vision

总结 – Ui.Vision 让非程序员也能自动化网页和桌面工作流，其独特之处在于提供了一个协议，使现代 LLM 代理可以为您编写和运行这些自动化。它是一款真正的 RPA 工具，具备清晰的 AI 助手集成路径。