xinzezhu/Open-AutoGLM-Android

解決的問題

本專案提供了一種使用自然語言指令自動化智慧型手機操作的方法。它利用 Android 的可存取性服務，直接在裝置上執行操作，無需電腦或 ADB（Android 調試橋）。

工作原理

應用程式使用 AutoGLM 或阿里巴巴的 GUI-plus 等視覺語言模型（VLMs）分析螢幕內容並規劃動作。它會擷取目前螢幕的截圖，透過 API 將其傳送給 AI 模型，然後透過 Android 可存取性服務 API 執行產生的指令（例如點擊、滑動或輸入）。

適用對象

希望使用簡單文字指令在不同應用程式之間自動化重複任務的 Android 使用者，以及對將 VLMs 與行動裝置自動化整合感興趣的開發者。

主要亮點

• 無需 ADB：完全透過可存取性服務在裝置上運作。
• 自然語言控制：使用者可用自然語言描述任務（例如：「開啟微信並傳送訊息給張三」）。
• 多步驟任務：支援對話式互動並記憶上下文，完成複雜工作流程。
• VLM 整合：相容於智譜 AI 的 AutoGLM 與阿里巴巴的 GUI-plus 模型。
• 全面的操作集：支援啟動應用程式、點擊、輸入、滑動、長按與雙擊。