minitap-ai/mobile-use

解決的問題

Mobile-use 是一個使用自然語言自動化行動裝置（Android 與 iOS）的 AI 代理。它透過簡單的文本指令，讓使用者能執行發送訊息或導航應用等複雜任務，從而消除手動操作的需求。

運作方式

此系統採用多代理架構，將任務分解並與裝置的使用者介面互動。它具備 UI 意識，能利用可存取性樹狀資料來導航應用介面。支援多種 LLM 提供者，包括 OpenAI、Google、xAI、OpenRouter、MiniMax 與 Anthropic Claude，皆可配置為驅動代理節點。

適用對象

對行動自動化、行動應用程式資料擷取，以及行動作業系統環境下代理框架開發感興趣的開發者與研究人員。

主要特色

• 自然語言控制：透過原生語言指令控制您的手機。
• UI 意識自動化：智慧導航應用介面（遊戲情境有限）。
• 資料擷取：透過自然語言描述從應用程式中提取資訊，並結構化為 JSON 等格式。
• 基準性能：首個在 AndroidWorld 基準測試中達成 100% 准確率的代理框架。
• 跨平台支援：支援實體 Android 手機、Android 模擬器與 iOS 模擬器（僅限 macOS）。