mediar-ai/mcp-server-macos-use

解决的问题

本项目提供了一种让 AI 模型直接与 macOS 应用程序交互的方法。它通过允许 AI 查看 UI 结构并执行点击、输入和打开应用程序等操作，弥合了大型语言模型 (LLM) 与操作系统用户界面之间的差距。

运作原理

它是作为一个使用 Swift 编写的 Model Context Protocol (MCP) 服务器实现的。它使用 MacosUseSDK 和 macOS 辅助功能 API 来遍历应用程序的辅助功能树（告诉 AI 屏幕上有哪些元素）并模拟用户输入。它通过标准输入/输出 (stdio) 与兼容 MCP 的客户端（例如 Claude Desktop）进行通信。

目标对象

希望赋予其 AI 代理控制 Mac 能力的开发人员和 AI 爱好者，从而实现跨不同桌面应用程序的任务自动化。

特色亮点

• UI 遍历： 可以扫描应用程序的辅助功能树以了解界面的当前状态。
• 应用程序控制： 支持打开应用程序、点击特定坐标、输入文本以及按下带有修饰键的键盘按键。
• 状态刷新： 包含一个无需执行任何操作即可刷新 UI 遍历的工具，以更新 AI 的上下文。
• 可自定义操作： 提供可选参数来控制动画、延迟以及是否仅查看可见元素。