Tongyi-MAI/OpenGCUA

OpenGCUA – 开放通用计算机使用智能体

它是什么

• 一个开源技术栈，使大型语言模型（包括 GPT‐6 Astra、Claude Opus 5、Gemini 3.8 Flash 等前沿模型）能够操作真实计算机。它将视觉观察（截图、无障碍树）、程序化 API、Shell 命令和 GUI 操作组合成代码执行工作流。
• 项目发布三个主要部分：
  1. macOS 真机测试平台 – 一个菜单栏应用（CuaDriver），可在你自己的 Mac 上运行智能体。
  2. 跨设备 SDK – 一个 Python/Rust API，抽象计算机、浏览器、Android 手机和 Linux 机器，并暴露窗口、应用和无障碍数据。
  3. 评估轨迹 – 八个前沿模型在 OSWorld‐v2 基准上的记录运行结果，显示 OpenGCUA 如何提高分数并减少步骤。

为什么重要

• 当前的“计算机使用智能体”通常是封闭的、仅支持 GUI，并依赖固定测试平台。OpenGCUA 将决策（观察什么、如何行动、如何组织工作）移入模型本身，并添加代码执行，使模型能够编写和运行脚本，一步执行多个操作。
• 发布的测试平台和 SDK 使研究人员能够实验整个技术栈、复现论文结果，并构建自己的 GCUA 模型。

主要组件

组件	描述
OSWorld 集成示例	使用截图或代码操作来解决 OSWorld‐v2 基准任务的示例智能体。
macOS 真机测试平台	一个 SwiftUI/AppKit 菜单栏应用（CuaDriver），授予无障碍和屏幕录制权限，运行智能体，并显示浮动任务面板。
跨设备 SDK	带 Python 绑定的 Rust 核心（qwen_intelligence）。提供 runtime.add_macos、runtime.session、app.ui.ax.observe() 等，用于统一控制 macOS、Android、浏览器和 Linux。
评估轨迹	八个前沿模型（GPT‐6 Astra、Claude Opus 5、Gemini 3.8 Flash、GLM‐5.3‐Flash、Qwen 3.8‐Max、Qwen 3.8‐Flash、Kimi K3、DeepSeek‐V4.1‐Flash）的 JSON/跟踪文件。

开始使用（macOS）

# 克隆并设置虚拟环境（推荐使用 uv）
git clone https://github.com/Tongyi-MAI/OpenGCUA.git
cd OpenGCUA
uv venv --python 3.12
source .venv/bin/activate
uv pip install -e ./packages/sdk -e ./packages/harness/runtime

# 安装原生驱动应用和浏览器引擎
.venv/bin/mu setup macos
.venv/bin/mu doctor macos
.venv/bin/mu setup browser --engine chromium
.venv/bin/mu doctor browser --engine chromium

# 配置 API 密钥和模型
cp packages/harness/configs/macos_demo.json packages/harness/configs/local.json
# 编辑 local.json → 设置 api_key、model_name、llm_base_url、llm_protocol

# 授予 CuaDriver.app 无障碍和屏幕录制权限，然后验证
.venv/bin/mu doctor macos

# 运行交互式终端智能体
.venv/bin/python packages/harness/runtime/mac_agent.py

同一个 SDK 可以从任何 Python 脚本使用来控制设备，例如：

import asyncio
from qwen_intelligence import Runtime

async def demo():
    async with Runtime() as rt:
        await rt.add_macos(name="local-mac")
        async with rt.session() as mu:
            mac = await mu.register("local-mac", name="mac")
            app = await mac.apps.get("com.apple.TextEdit")
            await mu.emit(await app.ui.ax.observe())
            await mu.emit(await app.windows.list())

asyncio.run(demo())

论文中强调的结果

• 在 OSWorld‐v2 上，OpenGCUA 将八个模型的平均部分分数从 45.3 提高到 64.9（+19.6 分），并将每个任务的平均步骤数减少了 53%。
• 与 GUI + CLI 基线相比，代码执行增加了 6.1 分，并减少了 14.8% 的步骤。
• 在四项 macOS 任务上的真机测试显示，GPT‐6 Astra 以远少于 Qwen 3.8‐Max 的推理令牌完成了 4/4 任务。

路线图（截至 2026 年 10 月预览版）

• 发布一个专门的 GCUA 模型，学习结合代码执行、观察和任务跟踪。
• 优化执行效率（更短的推理、更智能的测试平台决策）。
• 发布覆盖 macOS、浏览器和手机的完整真机基准。
• 提高可靠性、故障恢复和多设备连续性。

社区与贡献

• 贡献测试平台或 SDK 改进，添加新的平台适配器，或帮助构建评估环境。
• 以研究问题打开 issue、提交拉取请求，或加入 WeChat/Discord 群组（链接在 README 中）。

许可证

• Apache 2.0（见 LICENSE）。

引用

@misc{opengcua2026,
  title = {{OpenGCUA}: Toward a Fully Open Stack for Generalist Computer Use},
  author = {Hanzhang Zhou and Long Li and Quyu Kong and Lei Wang and Panrong Tong and Long Chen and Tianyu Xia and Gongjie Zhang and Xu Zhang and Chen Liu and Jianan Zhang and Chenglin Cai and Zhengwen Zeng and Steven Hoi and Yue Wang},
  year = {2026},
  eprint = {2610.22200},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  url = {https://arxiv.org/abs/2610.22200}
}

---

OpenGCUA 是一项真正的开源努力，旨在使通用计算机使用智能体对研究社区透明、可复现且可扩展。