ComputerUseAgent/AutoCua

解决的问题\nAutoCua 是一个用于构建 AI 智能体的框架，这些智能体可以像人一样使用计算机：点击真实按钮、在真实应用中输入、浏览你自己的 Chrome 配置文件，甚至操控配对的 iPhone。它通过提供一个适用于桌面应用、浏览器、Shell 终端和移动端（iOS）的统一框架，解决了碎片化问题——大多数智能体只能在浏览器或沙盒中工作。它还解决了此类智能体的常见失败点：猜测屏幕坐标、被权限对话框阻止、长任务中达到上下文限制，以及发送遥测数据。\n\n## 工作原理\n在底层，AutoCua 运行一个分层结构的专用智能体。父智能体观察屏幕并决定做什么，然后将任务委派给子智能体进行代码工作、浏览器交互或网络研究。每一步，智能体都会收到一个编号的交互元素列表（基于操作系统辅助功能树和 OCR 构建）以及一张带有这些编号的截图，因此它永远不需要猜测像素位置。输入在操作系统自身的输入层注入（例如 macOS 的 kCGHIDEventTap、Windows 的 SendInput，甚至用于 UAC 提示的内核驱动程序），因此应用会看到真实的鼠标和键盘事件。该框架支持多种模式——桌面、Shell、Web（通过基于 Rust 的 Chrome 扩展）和 iOS——并包含一个压缩智能体，它会监视对话并在运行中途插入交接摘要以防止上下文耗尽。\n\n## 适用对象\nAutoCua 面向开发者、测试人员和高级用户，他们希望自动化真实的计算机任务——从检查 macOS 版本到填写在线购物车——而无需为每个应用构建定制集成。它是开源的（MIT 许可证），可通过 pip 安装，并提供简单的 Python API：一个 run_agent() 调用，包含模式、提供商、模型和任务。还包含一个用于可视化监控的桌面应用。\n\n## 亮点\n- 支持 Windows、macOS 和 Linux（GNOME），以及通过配对设备或模拟器支持 iOS。\n- 使用真实的鼠标/键盘事件驱动真实桌面应用，无需辅助功能黑客。\n- 通过轻量级 Chrome 扩展重用你现有的浏览器配置文件和 Cookie（正常运行时不使用调试端口）。\n- 多智能体架构（父智能体、子智能体、压缩智能体）用于复杂任务。\n- 无遥测——唯一的外部通信是到你选择的 LLM 提供商。\n- 支持来自 9 个提供商的 48 个模型，并且可以扩展。\n- 单行 API：run_agent(mode, provider, model, task)。