mobile-use: 這是什麼、解決了什麼問題以及為什麼它正受到關注

解決了什麼問題

Mobile-use 允許使用者透過自然語言指令來控制 Android 和 iOS 裝置。它透過在各種應用程式中自動化任務（例如傳送訊息或檢查電池電量），消除了手動導航的需求，並能從行動裝置介面進行結構化數據提取（爬蟲）。

如何運作

該專案使用一個與行動裝置 UI 互動的代理系統（agentic system）。它可以由各種 LLM（包括 OpenAI、Google、xAI、OpenRouter 和 MiniMax）驅動，以解讀自然語言並將其轉換為動作。對於 Android，它利用 Android Debug Bridge (ADB) 與裝置或模擬器進行通訊；對於 iOS，它使用 Xcode 和 Facebook iOS Development Bridge (idb) 來控制模擬器。

對象是誰

• 開發者：尋求自動化行動應用程式互動的人員。
• 研究人員：對行動代理框架和 UI 自動化感興趣的人員。
• 使用者：想要透過自然語言控制手機，或從應用程式中提取結構化數據的人員。

重點亮點

• 跨平台支援：支援實體 Android 手機、Android 模擬器以及 iOS 模擬器。
• 自然語言控制：使用原生語言指令在不同應用程式之間執行複雜任務。
• 數據爬蟲：從應用程式中提取資訊並以 JSON 等結構化格式輸出。
• 高效能：第一個在 AndroidWorld 基準測試中達到 100% 完成率的代理框架。
• 靈活的 LLM 整合：透過 OpenAI 相容的 API，支援廣泛的模型提供商和本地 LLM。