Tongyi-MAI/OpenGCUA

OpenGCUA – オープンな汎用コンピュータ操作エージェント

概要

• 大規模言語モデル（GPT‐6 Astra、Claude Opus 5、Gemini 3.8 Flashなどのフロンティアモデルを含む）が実際のコンピュータを操作できるようにするオープンソーススタックです。視覚的観察（スクリーンショット、アクセシビリティツリー）、プログラムAPI、シェルコマンド、GUI操作をコード実行ワークフローに組み合わせます。
• プロジェクトは主に3つの要素を公開しています：
  1. macOS実機ハーネス – 自分のMacでエージェントを実行するメニューバーアプリ（CuaDriver）。
  2. クロスデバイスSDK – コンピュータ、ブラウザ、Androidフォン、Linuxマシンを抽象化し、ウィンドウ、アプリ、アクセシビリティデータを公開するPython/Rust API。
  3. 評価トレース – OSWorld‐v2ベンチマークでの8つのフロンティアモデルの記録された実行結果。OpenGCUAがスコアを向上させ、ステップ数を削減することを示しています。

重要性

• 現在の「コンピュータ操作エージェント」は通常、クローズドでGUIのみに依存し、固定されたハーネスに依存しています。OpenGCUAは意思決定（何を観察するか、どう行動するか、作業をどう整理するか）をモデル自体に移し、コード実行を追加することで、モデルが1ステップで多数のアクションを実行するスクリプトを作成・実行できるようにします。
• 公開されたハーネスとSDKにより、研究者はスタック全体を実験し、論文の結果を再現し、独自のGCUAモデルを構築できます。

主要コンポーネント

コンポーネント	説明
OSWorld統合例	スクリーンショットまたはコードアクションを使用してOSWorld‐v2ベンチマークのタスクを解決するサンプルエージェント。
macOS実機ハーネス	SwiftUI/AppKitのメニューバーアプリ（CuaDriver）。アクセシビリティと画面収録の権限を付与し、エージェントを実行し、フローティングタスクパネルを表示します。
クロスデバイスSDK	Pythonバインディング（qwen_intelligence）を備えたRustコア。macOS、Android、ブラウザ、Linuxの統一制御を提供するruntime.add_macos、runtime.session、app.ui.ax.observe()などを提供します。
評価トレース	8つのフロンティアモデル（GPT‐6 Astra、Claude Opus 5、Gemini 3.8 Flash、GLM‐5.3‐Flash、Qwen 3.8‐Max、Qwen 3.8‐Flash、Kimi K3、DeepSeek‐V4.1‐Flash）のJSON/トレースファイル。

始め方（macOS）

# クローンして仮想環境をセットアップ（uv推奨）
git clone https://github.com/Tongyi-MAI/OpenGCUA.git
cd OpenGCUA
uv venv --python 3.12
source .venv/bin/activate
uv pip install -e ./packages/sdk -e ./packages/harness/runtime

# ネイティブドライバアプリとブラウザエンジンをインストール
.venv/bin/mu setup macos
.venv/bin/mu doctor macos
.venv/bin/mu setup browser --engine chromium
.venv/bin/mu doctor browser --engine chromium

# APIキーとモデルを設定
cp packages/harness/configs/macos_demo.json packages/harness/configs/local.json
# local.jsonを編集 → api_key、model_name、llm_base_url、llm_protocolを設定

# CuaDriver.appにアクセシビリティと画面収録の権限を付与し、確認
.venv/bin/mu doctor macos

# インタラクティブターミナルエージェントを実行
.venv/bin/python packages/harness/runtime/mac_agent.py

同じSDKは、任意のPythonスクリプトからデバイスを制御するために使用できます。例：

import asyncio
from qwen_intelligence import Runtime

async def demo():
    async with Runtime() as rt:
        await rt.add_macos(name="local-mac")
        async with rt.session() as mu:
            mac = await mu.register("local-mac", name="mac")
            app = await mac.apps.get("com.apple.TextEdit")
            await mu.emit(await app.ui.ax.observe())
            await mu.emit(await app.windows.list())

asyncio.run(demo())

論文で強調されている結果

• OSWorld‐v2で、OpenGCUAは8つのモデルすべての平均部分スコアを45.3 → 64.9（+19.6ポイント）に引き上げ、タスクあたりの平均ステップ数を**53%**削減します。
• コード実行は、GUI+CLIベースラインと比較して6.1ポイントのスコア向上と**14.8%**のステップ削減を追加します。
• 4つのmacOSタスクでの実機テストでは、GPT‐6 AstraがQwen 3.8‐Maxよりはるかに少ない推論トークンで4/4タスクを完了しました。

ロードマップ（2026年10月プレビュー時点）

• コード実行、観察、タスク追跡を組み合わせることを学習する専用のGCUAモデルをリリース。
• 実行効率の最適化（より短い推論、よりスマートなハーネス決定）。
• macOS、ブラウザ、スマートフォンをカバーする完全な実機ベンチマークを公開。
• 信頼性、障害回復、マルチデバイス継続性の向上。

コミュニティと貢献

• ハーネスやSDKの改善に貢献し、新しいプラットフォームアダプタを追加し、評価環境の構築を支援してください。
• 研究質問をIssueとして開き、プルリクエストを送信するか、WeChat/Discordグループ（READMEにリンク）に参加してください。

ライセンス

• Apache 2.0（LICENSEを参照）。

引用

@misc{opengcua2026,
  title = {{OpenGCUA}: Toward a Fully Open Stack for Generalist Computer Use},
  author = {Hanzhang Zhou and Long Li and Quyu Kong and Lei Wang and Panrong Tong and Long Chen and Tianyu Xia and Gongjie Zhang and Xu Zhang and Chen Liu and Jianan Zhang and Chenglin Cai and Zhengwen Zeng and Steven Hoi and Yue Wang},
  year = {2026},
  eprint = {2610.22200},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  url = {https://arxiv.org/abs/2610.22200}
}

---

OpenGCUAは、汎用コンピュータ操作エージェントを研究コミュニティにとって透明で再現可能、拡張可能にすることを目指した、真のオープンソースの取り組みです。