iFurySt/open-computer-use

什么是 open-computer-use？

open-computer-use（通常调用为 ocu）是一个开源的 Computer-Use 服务，允许 AI 代理通过标准化的 MCP（基于消息的控制协议）接口控制真实的桌面环境（macOS、Linux、Windows）。它实现了与 OpenAI 的 Codex Computer Use 所展示的相同类型的“非侵入式”UI 自动化，但它是完全由社区维护的，并且可以插入到任何兼容 MCP 的客户端中，例如 Codex、Claude Code、Gemini CLI 或自定义代理。

核心功能

功能	描述
跨平台	在 macOS 14+、Linux 和 Windows 上运行。macOS 需要辅助功能和屏幕录制权限；其他操作系统无需额外设置。
MCP 服务器	启动一个本地 MCP JSON-RPC 服务器，提供九个原生工具（例如 `list_apps`、`press_key`、`get_app_state`），以及 macOS 上用于定向 UI 元素查找的 `query` 工具。
JavaScript REPL / 一次性评估	`ocu js <code>` 在沙盒 JS 环境中运行代码片段，可以调用原生 `cua` 绑定；`ocu repl` 保持会话以进行交互式脚本编写。
技能包	为流行代理（Codex、Claude Code、Gemini CLI、opencode、DeepSeek Harness）提供现成的技能。安装技能会将必要的 MCP 配置写入代理的配置文件中。
权限助手	`ocu doctor`（macOS）报告是否授予了辅助功能、屏幕捕获和其他所需权限，帮助主机自动化入职流程。
光标移动	一个可选的 macOS 光标移动子系统（开源），根据 Software.Inc 团队的公开信息移动鼠标。
自动化脚本	支持通过 `--calls` 或 `--calls-file` 进行批量调用，允许在单个进程中执行一系列 UI 操作。
可扩展 CLI	用于安装到各种代理、检查功能、运行压力测试和配置持久设置（例如截图格式）的命令。

快速入门（针对人类用户）

# 全局安装 npm 包
npm i -g open-computer-use   # 提供 `open-computer-use` 和 `ocu` 命令

# 首次运行 – macOS 将询问辅助功能和屏幕录制权限
open-computer-use   # 或直接使用 `ocu`

接入 AI 代理

# 示例：添加到 Codex（写入 ~/.codex/config.toml）
open-computer-use install-codex-mcp

# 或手动添加到任何 MCP 客户端
cat <<EOF > ~/.my-agent-config.json
{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}
EOF

在代理获知 MCP 端点后，它可以发出如 list_apps 或 press_key 等调用，并接收结构化的 JSON 结果。

工作原理

原生运行时 – 一个小型编译二进制文件（随 npm 包捆绑）与操作系统的辅助功能 API 通信，以枚举窗口、读取 UI 状态并合成鼠标/键盘事件。
MCP 桥接 – 该二进制文件由 ocu mcp 命令启动，并使用代理所使用的 JSON-RPC 协议进行通信。这使得代理与语言无关；任何能使用 MCP 的客户端都可以使用该服务。
JavaScript 绑定 – REPL 中暴露的 cua 对象镜像了原生工具，允许脚本调用 await cua.listApps() 等，从而轻松实现自动化逻辑原型设计。

适用人群

构建 AI 驱动助手的开发者，需要操作真实桌面（例如打开文件、点击 UI、读取屏幕内容）。
评估大语言模型“计算机使用”能力的科研人员，无需依赖专有的 OpenAI 服务。
寻求本地、隐私保护替代方案的资深用户，以替代云托管的计算机使用 API。

文档与社区

演示 – Codex App、Gemini CLI 和 Linux 的视频演示已在 README 中链接。
指南 – docs/locked-use.en.md 解释了设置和权限；docs/targeted-query.md 展示了如何通过文本/角色定位 UI 元素。
配置 – ocu config 允许您查看或更改持久设置（例如截图图像格式）。
许可证 – MIT，因此您可以自由修改和重新分发。

总结

open-computer-use 是“计算机使用”范式的实用开源实现，允许任何兼容 MCP 的 AI 代理在本地控制桌面。它提供了一个现成的 MCP 服务器、针对主流代理的技能包以及用于测试和脚本编写的丰富 CLI，使其成为任何尝试 AI 驱动 UI 自动化的开发者的坚实构建块。