MAA-AI/MaaMCP
基于 MaaFramework 的 MCP 服务器 为 AI 助手提供 Android 设备和 Windows 桌面自动化能力
解决的问题
MaaMCP 为 AI 助理(如 Claude)提供了自动化 Android 设备和 Windows 桌面应用程序的能力。它通过模型上下文协议 (MCP) 公开自动化功能,填补了 LLM 推理与实际设备交互之间的鸿沟。
运作原理
它作为一个基于 MaaFramework 的 MCP 服务器,允许 AI 通过一组标准化工具与设备交互。系统支持两种主要运作模式:
- 序列模式 (Serial Mode):一种同步流程,AI 执行动作、通过 OCR 或屏幕截图观察结果,然后决定下一步。
- 流水线模式 (Pipeline Mode):一种异步、多线程的方法,服务器在后台持续截取屏幕截图,让 AI 能实时监控屏幕并对变化做出反应,无需等待新的截取请求。
在视觉感知方面,它使用 OCR 进行文字识别,并使用屏幕截图进行视觉分析。在交互方面,它支持点击、滑动、文字输入和键盘快捷键。
适用对象
希望赋予 AI 代理控制电脑或移动设备能力,以执行复杂任务(例如在应用程序上订餐或浏览软件设置)的用户。
特色亮点
- 跨平台自动化:同时支持 Android(通过 ADB)和 Windows 桌面应用程序。
- 后台运作:Windows 自动化在后台执行,这意味着它不会占用鼠标和键盘,允许用户继续使用电脑。
- AI 驱动的流水线生成:AI 可以执行一次任务,然后将该成功的动作序列转换为可重复使用的 JSON Pipeline,以供未来自动化执行。
- 多设备协调:能够同时连接并控制多个设备或窗口。
- 智能感知:整合 OCR 以实现高效的文字导航,并通过屏幕截图进行视觉分析。
相关
- 项目
- 项目
- 项目
- 项目