OpenGUI – モバイルGUIエージェントフレームワーク

何ができるのか（平易な言葉で）

OpenGUIは、大規模言語モデルベースのAIエージェントがAndroidスマートフォンの画面を「見て」、内容を理解し、デバイス上で「操作」（タップ、スワイプ、入力、アプリの起動など）を行えるようにします。これは、接続された電話からの実際のスクリーンショットを使用し、画像と自然言語の指示を画像処理可能なモデルに送信することで実現されます。モデルが実行すべきUI操作を決定し、OpenGUIがAndroidのアクセシビリティサービスを通じてそれらを実行します。

対象ユーザー

• AIエージェント開発者：ボットに実際のAndroidアプリを制御する能力（テスト、自動化、コンテンツ作成）を与えたい方。
• 製品テスター：UIレベルのテストを実行し、再現可能なスクリーンショットをキャプチャするためのスクリプト可能な方法が必要な方。
• WorkBuddyまたはDeepSeek Harnessプラットフォームのパワーユーザー：完全なバックエンドを実行せずに電話制御機能を追加するプラグインを求めている方。

主なコンポーネント

コンポーネント	役割
WorkBuddy / DeepSeek Harness プラグイン	チャットUIで /opengui … コマンドを公開する軽量なホスト側ランタイム。プラグインのインストール、承認、ユーザープロンプトのバックエンドへの転送を処理します。
フルスタックバックエンド（オプション）	TypeScript/Nodeで記述されたグラフベースのタスク実行エンジン。リクエストを受け取り、ビジョン言語モデル（Claude, GPT, Geminiなど）にルーティングし、計画を構築して、Androidクライアントにアクションをストリーミングします。
Androidクライアント	電話上で実行される小さなアプリ（Android 11以降）。ADB/scrcpy経由でスクリーンショットを提供し、WebSocketを通じてアクションコマンド（タップ、スワイプ、入力）を受信し、AccessibilityServiceを使用して実行します。
CLI (pnpm opengui …)	チャットプラグインではなくスクリプトを好む開発者向けの直接的なコマンドラインインターフェース。
IMチャネルアダプター	チャットサービスからタスクをトリガーできるオプションのDiscord/Telegram/Feishuゲートウェイ。

使用方法

1. ホストプラグインのインストール – macOS上で curl … | bash コマンドを1行実行（WorkBuddy）するか、DeepSeek Harnessのインストールプロンプトに従います。
2. 電話の接続 – USBデバッグを有効にして接続し、Androidアプリに必要なアクセシビリティ/オーバーレイ権限を付与します。
3. 自然言語コマンドの送信 – 例：/opengui Open Settings and report the Android version。
4. プラグインがプロンプトをバックエンドに転送し、バックエンドがビジョンモデルに現在の画面を確認させ、次のUIアクションを決定してAndroidクライアントに返送します。
5. 電話がアクションを実行します。モデルは反復処理を行い、スクリーンショットを撮り、最終的に要約や問題レポートを返します。

現在可能なこと

• 基本的な電話ナビゲーション – アプリの起動、ボタンのタップ、スワイプ、テキスト入力、戻る操作。
• アプリテスト – 記述されたワークフローの実行、ステップとスクリーンショットのキャプチャ、バグレポートの作成。
• コンテンツ作成 – デバイス上で直接フォームへの入力やソーシャルメディア投稿（TikTokの下書きなど）の作成。
• 可視化された実行 – WorkBuddyワークベンチで電話画面を監視し、タスクに介入したり停止したりできます。
• 統合ポイント – Discord, Feishu, Telegram、またはリモートディスパッチ用の汎用REST API。

できないこと（制限事項）

• ビジョン対応モデル（画像入力 + ツール呼び出し）が必要です。テキストのみのモデルを使用する場合、エージェントは画面を解釈できません。
• DeepSeek Harnessセッションごとに1つのOpenGUIタスクのみ可能です。同時タスクには個別のセッションが必要です。
• 実際の信頼性は、デバイスのOEMの癖、画面レイアウト、ネットワーク遅延によって異なります。
• フルバックエンド（グラフエージェント、Redis/PostgreSQLなど）はオプションですが、高度なルーティング、多段階計画、永続的なタスクIDには必要です。

クイックスタート（WorkBuddyの例）

cd "$HOME" && curl -fsSL https://raw.githubusercontent.com/Core-Mate/OpenGUI/main/workbuddy-plugin/install.sh | bash
# WorkBuddyを再起動し、チャットで以下を入力：
/opengui Prepare a TikTok draft about "AI safety" – stop before publishing.

プラグインは以下の処理を行います：

1. プライベートなNodeランタイムをインストール。
2. OpenGUIスキルとコネクタを登録。
3. 電話の承認を要求。
4. コマンドを実行し、スクリーンショット付きの下書きを返す。

詳細情報の入手先

• インストールとトラブルシューティング – workbuddy-plugin/INSTALL.md および deepseek-harness-plugin/README.md
• フルスタックデプロイメント – docs/get-started.md
• CLIリファレンス – docs/codex-remote-control.md
• システム図 – READMEのMermaidフローチャートは、チャット → モデル → エグゼキューター → Androidクライアントへのデータパスを示しています。

ライセンスと商用利用に関する注意

コードはBusiness Source License 1.1の下でリリースされており、非商用利用が許可されています。商用デプロイメントにはCore-Mateからの個別の商用ライセンスが必要です（変更日2030-04-29にApache 2.0に変更されます）。

---

上記の詳細はすべてリポジトリのREADMEから直接引用したものであり、外部からの仮定は追加されていません。