TurixAI/TuriX-CUA

解决的问题

TuriX 为 AI 模型提供了一种直接与计算机桌面界面交互的方式。通过允许 AI 代理在人类可以使用的任何软件（如 Web 浏览器、办公套件和公司内部工具）上执行操作（如点击和打字），消除了对特定应用 API 的需求。

工作原理

该系统使用视觉语言模型 (VLM) 作为“大脑”来感知屏幕并决定操作。它可以配置不同的模型（包括通过 Ollama 使用的本地模型），并支持多智能体架构，其中不同的模型可以处理规划、执行和记忆。它与 Model Context Protocol (MCP) 集成，允许其他代理（如 Claude for Desktop）触发桌面操作。此外，它使用“Skills”（基于 Markdown 的剧本）为代理提供复杂任务的具体指令。

适用对象

• 正在寻找开源计算机使用代理的开发人员和研究人员。
• 希望跨多个应用程序自动执行重复性桌面工作流的高级用户。
• 希望为 GUI 自动化测试不同 VLM 策略的 AI 工程师。

亮点

• 高成功率：在 OSWorld 基准测试中达到 64.2%，在 macOS 特定基准测试中达到 80% 以上。
• 不依赖 API：在 GUI 上运行，这意味着它可以与任何没有公开 API 的应用程序一起工作。
• 模型热插拔：用户可以通过简单的配置文件更改底层 AI 模型，而无需更改代码。
• 跨平台支持：适用于 macOS、Windows 和 Linux。
• MCP 集成：与 Model Context Protocol 兼容，实现与其他 AI 代理的无缝连接。