IPADS-SAI/MobiAgent

MobiAgent – 可定制的移动代理框架

是什么 – MobiAgent 是一个开源系统，允许研究人员和开发者在智能手机（Android 或 HarmonyOS）上直接运行基于大语言模型（LLM）的“代理”。它包含三个核心组件：

组件	作用
MobiMind	一组为移动任务优化的 LLM（决策者、规划者、定位者）。
AgentRR	代理记录与重放 – 一个轻量级框架，可缓存成功动作序列并在后续运行中重放以加速执行。
MobiFlow	一个基准测试，用于评估移动代理在多步骤、跨应用工作流上的表现（例如：搜索、购买、消息传递）。

主要特性

设备端推理 – 模型可在手机上通过 vLLM 提供，或通过本地服务器提供；提供量化后的 2 位/8 位版本（MobiMind-1.5-2B-W8A8）。
模块化内存系统
- 用户资料内存（Mem0）存储在 Milvus 向量数据库或 Neo4j GraphRAG 中，用于个性化规划。
- 经验内存 可检索类似的过去执行记录。
- 动作内存（AgentRR）可重用缓存的动作树。
多任务执行 – 一个运行器可协调复杂的跨应用工作流（例如：「在小红书搜索 → 在淘宝购买 → 通过微信发送结果」）。
统一 GUI 运行器 – 一键配置多种后端（MobiAgent、UI-TARS、AutoGLM、Qwen-VL、Gemini 等）。
可扩展的工作流管道 – 支持原始数据清洗和自定义工作流定义。
基准测试与结果 – 仓库包含 MobiFlow 基准测试和可视化评估图表。

架构概览

+-------------------+      +-------------------+      +-------------------+
|   决策模型   | ---> |   规划模型   | ---> |   定位模型  |
+-------------------+      +-------------------+      +-------------------+
        ^                         ^                         ^
        |                         |                         |
        |   AgentRR（记录/重放）   |   内存模块（资料、经验）
        |                         |                         |
        +-------------------+-----------------------------+
                            |
                        运行器
        （通过 ADB 连接手机，发出 UI 操作，记录轨迹）

README 中的图示（assets/arch.png）可视化了相同流程。

快速入门

安装 Python 环境 – 创建 conda 环境（python=3.10），运行 pip install -r requirements.txt（或仅需运行器时使用 requirements_simple.txt）。
设置手机 – 安装 ADBKeyboard APK，启用 USB 调试，通过 USB 连接。
部署模型 – 从 HuggingFace 或 ModelScope 下载 MobiMind 检查点（例如 MobiMind-1.5-4B），使用 vllm serve … --port <port> 提供服务。
（可选）配置内存 – 启动 Milvus 容器用于向量搜索或 Neo4j 容器用于 GraphRAG，然后在 .env 中填写 URL 和模型路径。

运行代理 – 编辑 runner/mobiagent/task.json 中的任务，然后运行：

python -m runner.mobiagent.mobiagent \
    --service_ip localhost \
    --decider_port 8000 \
    --planner_port 8002 \
    [--user_profile on] [--use_experience]

多任务场景使用 runner.mobiagent.multi_task.mobiagent_refactored 入口点。

试用 Android 应用 – 从发布页面（v1.0.1）下载预构建 APK，体验点按即用的交互。

示例应用场景

个人助理 – 检索用户特定推荐、购物，并通过消息应用发送结果。
企业自动化 – 自动化重复性移动工作流（例如：跨内部应用的数据录入）。
研究 – 在 MobiFlow 套件上基准测试新的提示或规划策略；实验内存增强型代理。

评估

README 包含三张结果图（assets/result1.png–3.png）和 AgentRR 的性能图表（assets/result_agentrr.png）。这些图表显示，使用重放和内存模块相比仅使用基础 LLM 的代理，任务完成率更高，延迟更低。

发布亮点（时间线）

2025-08-30 – 开源发布。
2025-12-26 – 纯设备端推理支持。
2025-12-08 – 发布 MobiMind-Reasoning-4B 及其 AWQ 量化变体。
2026-07-17 – 首个主动式设备端代理系统 ClawMate、设备端推理框架 MobiInfer 和 2 位量化模型发布。
持续新增功能：自定义工作流、多任务执行、用户资料内存、混合模态模型（Qwen3-VL）等。

引用

若在学术工作中使用 MobiAgent，请引用 README 中链接的两篇 arXiv 论文：

@misc{zhang2025mobiagentsystematicframeworkcustomizable,
  title={MobiAgent: A Systematic Framework for Customizable Mobile Agents},
  author={Cheng Zhang and Erhu Feng and Xi Zhao and Yisheng Zhao and Wangbo Gong and Jiahui Sun and Dong Du and Zhichao Hua and Yubin Xia and Haibo Chen},
  year={2025},
  eprint={2509.00531},
  archivePrefix={arXiv},
  primaryClass={cs.MA},
  url={https://arxiv.org/abs/2509.00531}
}
@misc{liu2025trainingenablingselfevolutionagents,
  title={Beyond Training: Enabling Self-Evolution of Agents with MOBIMEM},
  author={Zibin Liu and Cheng Zhang and Xi Zhao and Yunfei Feng and Bingyu Bai and Dahu Feng and Erhu Feng and Yubin Xia and Haibo Chen},
  year={2025},
  eprint={2512.15784},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2512.15784}
}