suyiiyii/AutoGLM-GUI

AutoGLM‑GUI – AI駆動型Android自動化ワークステーション

何であるか

• 大規模言語モデル（OpenAI互換エンドポイント）がADB経由で1台または複数のAndroidデバイス（実機またはエミュレータ）を制御できるデスクトップ/ウェブアプリケーション。
• チャットスタイルのインターフェース、タスクスケジューリング、ワークフローの保存、Docker/スタンドアロンバイナリを備え、アシスタントを24時間稼働可能にする。

主な機能

機能	得られるもの
レイヤードエージェントモード	2段階アーキテクチャ – 計画用LLMがリクエストをステップに分解し、実行用の視覚モデル（AutoGLM‑Phone）がUI操作を実行する。
cronスタイルのスケジュールタスク	定期実行ジョブ（例：毎日ログイン、価格チェック）を定義し、AIが自動実行する。
マルチデバイス管理	複数のAndroidデバイス（USBまたはWi‑Fi）を同時に接続可能。各デバイスには独自のチャット履歴と画面プレビューがある。
リアルタイム画面プレビュー	scrcpy経由で低遅延の動画を取得。プレビュー上でクリック/ドラッグして手動操作も可能。
Dockerおよびポータブルバイナリ	事前ビルドされたDockerイメージとWindows EXE / macOS DMG / Linux AppImage / deb / tar.gzで「どこでも実行」可能。
会話履歴	すべてのチャット、AIの推論ステップ、スクリーンショット、ログはローカル（SQLite）に保存され、UIで確認可能。
MCP統合	Model Context Protocolサーバーを公開し、他のAIツール（Claude Desktop、Cursor、Clineなど）が list_devices() と chat(device_id, message) を呼び出して、その環境内で電話を自動化できる。
即時中断	実行中のタスクを1秒未満で中止可能。AIが誤動作した場合に有用。
ゼロ構成セットアップ	バンドルされたデスクトップ版にはPython、ADB、必要なライブラリが含まれている。LLMエンドポイントとAPIキーを指定するだけでOK。

始める方法

1. デスクトップバイナリ – Windows、macOS（Apple Silicon）またはLinux向けの適切なパッケージをダウンロードして実行。初回起動時にLLMのベースURL、モデル名、APIキー（例：Zhipu BigModel、ModelScope、または自己ホストvLLMエンドポイント）を入力。
2. Pythonパッケージ – pip install autoglm-gui してから autoglm-gui --base-url <url> --model <name> --apikey <key> を実行。
3. Docker – docker run -d --network host -v autoglm_config:/root/.config/autoglm ghcr.io/suyiiyii/autoglm-gui:main（または提供された docker-compose.yml を使用）。コンテナはポート8000でウェブUIを実行。http://localhost:8000 を開く。

一般的なワークフロー

• 個人アシスタント – 「Meituanでティーカップを注文して」などと入力し、AIがアプリ内をナビゲートし、フォームを埋めて注文を完了する様子を観察。
• スケジュール自動化 – 毎朝ロイヤルティアプリにログインし、注文状況を確認して通知を送るcronジョブを作成。
• バッチデバイス管理 – 複数の電話を接続し、それぞれに異なるワークフロー（価格監視、SNS投稿、ゲームの毎日クエスト）を割り当てる。
• モバイルアプリのCI/CD – エミュレータ版を実行し、AIにUIテストを実行させ、スクリーンショットを取得し、結果を自動ログに記録。
• MCP駆動ツール – Claude Desktopから chat(device_id, "微信を開いてメッセージを送信…") を呼び出して、チャットインターフェースから離れずにAIに電話で動作させられる。

なぜ重要か AutoGLM‑GUIは汎用LLMを具体的なAndroid自動化エージェントに変換し、画面キャプチャ、座標変換、ADB通信といった重い処理を処理する。スケジューリング、マルチデバイス対応、拡張可能なMCPサーバーをバンドルすることで、会話型AIと現実世界のモバイル操作のギャップを埋め、個人の生産性、小規模RPA、モバイルテストパイプラインに実用的である。

ライセンス – Apache 2.0（バンドルされたADBキーボードAPKはGPL‑2.0、メインコードから分離）。