Core-Mate/OpenGUI

何を解決するか

OpenGUI は、実機上で Android アプリのインターフェースを認識・操作できる AI エージェント用のフレームワークを提供します。SNS 管理、レグレッションテスト、繰り返しのゲーム内タスクなど、複雑なモバイルワークフローの自動化の難しさを解決し、エージェントが画面理解、タスク計画、アクション実行を行うことを可能にします。

動作方法

このシステムは、バックエンドのグラフと Android クライアントからなる多層的オーケストレーションアーキテクチャを使用しています。「プランスーパーバイザー」が目標を実行可能なステップに分解し、それを「エクセキューターグラフ」に渡します。エクセキューターグラフは、スクリーンショットの取得、Vision Language Model (VLM) を用いた UI 分析、Android の AccessibilityService を通じたアクション実行のループを管理します。モデルルーティング機能により、異なるモデル（例：計画には Claude Opus、視覚処理には Doubao Pro）を異なる役割に割り当て、パフォーマンスとコストのバランスを取ることができます。フルスタックとして、または DeepSeek Harness のプラグインとしてデプロイ可能です。

対象ユーザー

Android アプリの操作を自動化したい開発者やテスト担当者、モバイルプラットフォームに関する先端研究を行う研究者、Discord、Telegram、Feishu などの IM チャネル経由でモバイルタスクをリモートで実行したいユーザー向けに設計されています。

特徴

• 長時間実行タスク対応：数時間にわたるワークフローを想定し、進捗追跡と復旧機能を内蔵。
• 役割ベースのモデルルーティング：計画と VLM 実行を異なるモデルプロバイダーに分割可能。
• リモートディスパッチ：REST API や IM プラットフォーム（Discord、Telegram、Feishu）経由でタスクをトリガー可能。スマートフォンはスタンバイ状態のままでも動作。
• 構造化されたワークフロー：「行動前に計画、実行後に要約」のサイクルを実装し、信頼性を確保し、明確な結果を提供。