suyiiyii/AutoGLM-GUI

解決する課題

AutoGLM-GUIは、AIを使用してAndroidデバイスを制御するためのグラフィカルインターフェースと自動化フレームワークを提供します。モバイルデバイスをAI駆動の生産性向上ツールに変え、ユーザーは自然言語を通じて複雑なタスクを実行したり、定期的なアクションをスケジュールしたり、ADB (Android Debug Bridge) の深い技術知識を必要とせずに単一のダッシュボードから複数のデバイスを管理したりできます。

仕組み

システムはUSBまたはWiFi経由でAndroidデバイスに接続します（Android 11以降はQRコードペアリングをサポート）。OpenAI互換のLLM APIを使用してユーザーのリクエストを解釈し、画面上の操作に変換します。主に2つの動作モードを提供します。

• Classic Mode: 単一のビジョンモデルが、理解、計画、実行のループ全体を処理します。
• Layered Agent Mode: 「計画レイヤー」が高レベルの推論とタスク分解を担当し、「実行レイヤー」が実際の画面観察とインタラクションに集中する2層アーキテクチャです。

低遅延の画面ミラーリングと手動制御のために scrcpy を統合しており、Docker経由でデプロイした場合には24時間365日の自動化を実現するCronスタイルのスケジューラーが含まれています。

対象ユーザー

• 一般ユーザー: 反復的なモバイルタスク（例：食事の注文、価格チェック）をAIアシスタントに任せたい方。
• 開発者/QAエンジニア: アプリのテストや回帰テストのためにAI駆動のUI自動化を必要とする方。
• パワーユーザー: ホームサーバー (NAS/VPS) を運用しており、モバイルアプリを24時間365日自動化したい方。

ハイライト

• Scheduled Tasks: 毎日のチェックインや定期的な監視を自動化する組み込みのCronシステム。
• Multi-Device Management: 複数のAndroidデバイスを同時に制御し、状態を分離して管理可能。
• MCP Protocol Support: Claude DesktopやCursorなどのAIアプリとの統合を可能にするModel Context Protocolサーバーを内蔵。
• Workflow Management: 頻繁に行う複雑なタスクを再利用可能なワークフローとして保存し、ワンクリックで実行可能。
• Docker Deployment: x64/ARM64アーキテクチャをサポートし、安定したサーバーサイドでの24時間365日稼働を実現。
• Wireless Pairing: Android 11以降のデバイス向けにQRコードベースのペアリングを提供し、ケーブル接続を不要に。