xinzezhu/Open-AutoGLM-Android

何を解決するか

このプロジェクトは、自然言語コマンドを使用してスマートフォンの操作を自動化する方法を提供します。Androidのアクセシビリティサービスを活用することで、コンピュータやADB（Android Debug Bridge）の必要性を排除し、デバイス上で直接操作を実行できます。

動作方法

アプリは、AutoGLMやアリババのGUI-plusなどのビジョン言語モデル（VLM）を使用して、画面の内容を分析し、アクションを計画します。現在の画面のスクリーンショットを取得し、API経由でAIモデルに送信し、その結果として得られるコマンド（タップ、スワイプ、入力など）をAndroidアクセシビリティサービスAPIを通じて実行します。

対象ユーザー

異なるアプリ間で繰り返し作業を自動化したいAndroidユーザー、およびモバイルデバイスの自動化にVLMを統合したい開発者。

特徴

• ADB不要: アクセシビリティサービスを介して完全にデバイス上で動作。
• 自然言語制御: ユーザーは平易なテキストでタスクを記述可能（例：「WeChatを開いて張三にメッセージを送る」）。
• マルチステップタスク: 話し合い形式のインタラクションをサポートし、コンテキストを記憶して複雑なワークフローを完了可能。
• VLM統合: Zhipu AIのAutoGLMおよびアリババのGUI-plusモデルと互換性あり。
• 包括的なアクションセット: アプリ起動、タップ、入力、スワイプ、長押し、ダブルタップをサポート。