iFurySt/open-computer-use

open-computer-use とは？

open-computer-use（通常は ocu として呼び出されます）は、AI エージェントが標準化された MCP（Message-Based Control Protocol）インターフェースを通じて実際のデスクトップ（macOS、Linux、Windows）を制御できるようにするオープンソースの Computer-Use サービスです。OpenAI の Codex Computer Use が実証したのと同じ種類の「非侵入型」UI 自動化を実装していますが、完全にコミュニティによって管理されており、Codex、Claude Code、Gemini CLI、またはカスタムエージェントなど、MCP 互換のあらゆるクライアントにプラグインできます。

主な機能

機能	説明
クロスプラットフォーム	macOS 14+、Linux、Windows で動作します。macOS ではアクセシビリティと画面収録の権限が必要ですが、他の OS では追加設定は不要です。
MCP サーバー	ローカルの MCP JSON-RPC サーバーを起動し、9 つのネイティブツール（`list_apps`、`press_key`、`get_app_state` など）と、macOS でのターゲット UI 要素検索用の `query` ツールを公開します。
JavaScript REPL / ワンオフ評価	`ocu js <code>` はサンドボックス化された JS 環境でコードスニペットを実行し、ネイティブの `cua` バインディングを呼び出せます。`ocu repl` は対話型スクリプトのためにセッションを維持します。
スキルパッケージング	主要なエージェント（Codex、Claude Code、Gemini CLI、opencode、DeepSeek Harness）向けのすぐに使えるスキルを提供します。スキルをインストールすると、必要な MCP 設定がエージェントの設定ファイルに書き込まれます。
権限ヘルパー	`ocu doctor`（macOS）は、アクセシビリティ、画面キャプチャ、その他の必要な権限が付与されているかどうかを報告し、ホストのオンボーディング自動化を支援します。
カーソル移動	Software.Inc チームの公開情報に基づいてマウスを移動させる、オプションの macOS カーソル移動サブシステム（オープンソース）です。
自動化スクリプト	`--calls` または `--calls-file` によるバッチ呼び出しをサポートしており、一連の UI 操作を単一のプロセスで実行できます。
拡張可能な CLI	さまざまなエージェントへのインストール、機能の検査、ストレステストの実行、永続的な設定（スクリーンショット形式など）の構成を行うためのコマンドを提供します。

クイックスタート（人間向け）

# npm パッケージをグローバルにインストール
npm i -g open-computer-use   # `open-computer-use` および `ocu` コマンドを提供

# 初回実行 – macOS はアクセシビリティと画面収録の権限を要求します
open-computer-use   # または単に `ocu`

AI エージェントへの組み込み

# 例: Codex に追加 (~/.codex/config.toml に書き込み)
open-computer-use install-codex-mcp

# または、任意の MCP クライアントに手動で追加
cat <<EOF > ~/.my-agent-config.json
{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}
EOF

エージェントが MCP エンドポイントを認識すると、list_apps や press_key などの呼び出しを発行し、構造化された JSON 結果を受け取ることができます。

仕組み

ネイティブランタイム – npm パッケージにバンドルされた小さなコンパイル済みバイナリが、OS のアクセシビリティ API と通信してウィンドウの列挙、UI 状態の読み取り、マウス/キーボードイベントの合成を行います。
MCP ブリッジ – バイナリは ocu mcp コマンドによって起動され、エージェントが消費する JSON-RPC プロトコルで通信します。これによりエージェントは言語に依存せず、MCP を話せるクライアントであれば誰でもサービスを利用できます。
JavaScript バインディング – REPL で公開される cua オブジェクトはネイティブツールをミラーリングしており、スクリプトから await cua.listApps() などを呼び出せるため、自動化ロジックのプロトタイプ作成が容易になります。

想定されるユーザー

AI 駆動型アシスタントを構築する開発者（ファイルのオープン、UI のクリック、画面コンテンツの読み取りなど、実際のデスクトップ操作が必要な場合）。
大規模言語モデルの「コンピュータ使用」能力を評価する研究者（独自の OpenAI サービスに依存せずに評価したい場合）。
ローカルでプライバシーを保護した代替手段を求めるパワーユーザー（クラウドホスト型のコンピュータ使用 API の代わりとして）。

ドキュメントとコミュニティ

デモ – Codex App、Gemini CLI、Linux のビデオデモが README にリンクされています。
ガイド – docs/locked-use.en.md はセットアップと権限について説明し、docs/targeted-query.md はテキストやロールで UI 要素を特定する方法を示しています。
設定 – ocu config を使用して、永続的な設定（スクリーンショットの画像形式など）を表示または変更できます。
ライセンス – MIT ライセンスのため、自由に修正および再配布が可能です。

結論

open-computer-use は、「コンピュータ使用」パラダイムの実用的なオープンソース実装であり、MCP 互換のあらゆる AI エージェントがローカルでデスクトップを制御できるようにします。すぐに使える MCP サーバー、主要エージェント向けのスキルパッケージ、テストやスクリプト作成のための豊富な CLI を提供しており、AI 駆動の UI 自動化を実験するすべての人にとって強力な構成要素となります。