IPADS-SAI/MobiAgent

MobiAgent – 可客製化的行動代理框架

是什麼 – MobiAgent 是一個開源系統，讓研究人員與開發者能在智慧型手機（Android 或 HarmonyOS）上直接執行基於大型語言模型（LLM）的「代理」。它整合了三個核心元件：

元件	功能
MobiMind	一組為行動任務優化之 LLM（決策者、規劃者、定位者）。
AgentRR	代理記錄與重播 – 一個輕量級框架，可快取成功的動作序列並在後續執行中重播，以加速運行。
MobiFlow	一個基準測試，用於評估行動代理在多步驟、跨應用工作流程上的表現（例如：搜尋、購買、訊息傳遞）。

主要特色

裝置端推論 – 模型可於手機上透過 vLLM 提供，或透過本地伺服器；提供量化後的 2 位/8 位版本（MobiMind-1.5-2B-W8A8）。
模組化記憶體系統
- 使用者資料記憶體（Mem0）儲存在 Milvus 向量資料庫或 Neo4j GraphRAG 中，用於個人化規劃。
- 經驗記憶體 可檢索類似的過去執行紀錄。
- 動作記憶體（AgentRR）可重用快取的動作樹。
多任務執行 – 一個執行器可協調複雜的跨應用工作流程（例如：「在小紅書搜尋 → 在淘寶購買 → 透過微信發送結果」）。
統一 GUI 執行器 – 一鍵設定多種後端（MobiAgent、UI-TARS、AutoGLM、Qwen-VL、Gemini 等）。
可擴充的工作流程管道 – 支援原始資料清理與自訂工作流程定義。
基準測試與結果 – 倉儲包含 MobiFlow 基準測試與視覺化評估圖表。

架構概覽

+-------------------+      +-------------------+      +-------------------+
|   決策模型   | ---> |   規劃模型   | ---> |   定位模型  |
+-------------------+      +-------------------+      +-------------------+
        ^                         ^                         ^
        |                         |                         |
        |   AgentRR（記錄/重播）   |   記憶體模組（資料、經驗）
        |                         |                         |
        +-------------------+-----------------------------+
                            |
                        執行器
        （透過 ADB 連接手機，發出 UI 操作，記錄軌跡）

README 中的圖示（assets/arch.png）可視化相同流程。

快速入門

安裝 Python 環境 – 建立 conda 環境（python=3.10），執行 pip install -r requirements.txt（或僅需執行器時使用 requirements_simple.txt）。
設定手機 – 安裝 ADBKeyboard APK，啟用 USB 調試，透過 USB 連接。
部署模型 – 從 HuggingFace 或 ModelScope 下載 MobiMind 檢查點（例如 MobiMind-1.5-4B），使用 vllm serve … --port <port> 提供服務。
（可選）設定記憶體 – 啟動 Milvus 容器用於向量搜尋或 Neo4j 容器用於 GraphRAG，然後在 .env 中填入 URL 和模型路徑。

執行代理 – 編輯 runner/mobiagent/task.json 中的任務，然後執行：

python -m runner.mobiagent.mobiagent \
    --service_ip localhost \
    --decider_port 8000 \
    --planner_port 8002 \
    [--user_profile on] [--use_experience]

多任務情境使用 runner.mobiagent.multi_task.mobiagent_refactored 入口點。

試用 Android 應用 – 從發行頁面（v1.0.1）下載預先建構的 APK，體驗點選即用的互動。

範例應用情境

個人助理 – 搜尋使用者特定推薦、購物，並透過訊息應用傳送結果。
企業自動化 – 自動化重複性的行動工作流程（例如：跨內部應用的資料輸入）。
研究 – 在 MobiFlow 套件上基準測試新的提示或規劃策略；實驗記憶體增強型代理。

評估

README 包含三張結果圖（assets/result1.png–3.png）和 AgentRR 的效能圖表（assets/result_agentrr.png）。這些圖表顯示，使用重播與記憶體模組相比僅使用基礎 LLM 的代理，任務完成率更高，延遲更低。

發布亮點（時間軸）

2025-08-30 – 開源發布。
2025-12-26 – 純裝置端推論支援。
2025-12-08 – 發布 MobiMind-Reasoning-4B 及其 AWQ 量化變體。
2026-07-17 – 首個主動式裝置端代理系統 ClawMate、裝置端推論框架 MobiInfer 和 2 位量化模型發布。
持續新增功能：自訂工作流程、多任務執行、使用者資料記憶體、混合模態模型（Qwen3-VL）等。

引用

若在學術工作中使用 MobiAgent，請引用 README 中連結的兩篇 arXiv 論文：

@misc{zhang2025mobiagentsystematicframeworkcustomizable,
  title={MobiAgent: A Systematic Framework for Customizable Mobile Agents},
  author={Cheng Zhang and Erhu Feng and Xi Zhao and Yisheng Zhao and Wangbo Gong and Jiahui Sun and Dong Du and Zhichao Hua and Yubin Xia and Haibo Chen},
  year={2025},
  eprint={2509.00531},
  archivePrefix={arXiv},
  primaryClass={cs.MA},
  url={https://arxiv.org/abs/2509.00531}
}
@misc{liu2025trainingenablingselfevolutionagents,
  title={Beyond Training: Enabling Self-Evolution of Agents with MOBIMEM},
  author={Zibin Liu and Cheng Zhang and Xi Zhao and Yunfei Feng and Bingyu Bai and Dahu Feng and Erhu Feng and Yubin Xia and Haibo Chen},
  year={2025},
  eprint={2512.15784},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2512.15784}
}