shhivv/third-hand

解决的问题

Third Hand 是一个 macOS 助手，允许用户通过聊天界面控制各种应用程序。它消除了手动导航菜单和按钮的需要，将自然语言命令转换为直接的应用操作，例如在 Spotify 上播放音乐或在应用内搜索特定内容。

工作原理

该系统结合多种工具与 macOS 环境交互：

• arc-cua：通过 macOS 辅助功能 API 在后台读取和控制应用的驱动程序，能够与隐藏或最小化的窗口交互。
• Apple Vision：在屏幕上进行本地文本识别，以处理应用控件无法访问的情况。
• ChatGPT：充当规划者，根据请求和应用当前状态生成一系列简单步骤（点击、输入、滚动）。
• Jev：当控件标签与规划者建议不完全匹配时，用于解决歧义的专业工具。
• 执行：应用逐步执行这些步骤，并在继续之前验证每个操作的结果。

适用人群

使用 Apple Silicon Mac（macOS 14 或更高版本）的用户，希望通过自然语言使用 AI 驱动的助手在多个 macOS 应用中自动化任务。

亮点

• 后台执行：任务可以在后台运行（Shift+Enter），不干扰指针和前台应用。
• @提及：用户可以在聊天线程中标记特定应用以向其发送命令，如果应用未打开，它也会自动启动。
• 线程对话：在线程中维护历史记录，允许后续命令，如“现在播放第二个”。
• Control-Space 快捷键：快速打开带有当前活动应用标记的新线程。
• 本地处理：屏幕文本识别通过 Apple Vision 在本地处理，确保截图不会被上传。