milind-soni/tiptour-macos

解决的问题

TipTour 是一款 macOS 菜单栏应用，让用户能通过 AI 控制桌面。它提供了一种执行桌面操作（如点击、输入和滚动）的方式，可以通过与 Gemini 的实时语音对话，或是为本地代理 (JEV) 输入基于点击的任务来达成。

运作方式

TipTour 使用共享的本地基础与动作引擎，以两种不同的模式运作：

• Gemini Realtime Mode: 使用语音和屏幕截图，让用户讨论屏幕内容并请求桌面操作。它支持多种动作，包括点击、输入、快捷键、打开应用程序/URLs 以及创建 Apple Notes。
• JEV Text Mode: 一种基于文本的模式，用户输入任务。JEV 会从本地检测到的屏幕标签和位置识别控件，以执行并验证一系列基于点击的动作（每个任务最多 12 个动作）。

适用对象

希望使用自己的 API keys 进行 AI 驱动桌面自动化与控制的 macOS 用户（版本 14.2+）。

特色亮点

• 双模式互动: 在语音驱动的多模态互动 (Gemini) 与文本驱动的点击自动化 (JEV) 之间切换。
• 本地检测: JEV 在本地处理屏幕标签和位置以维护隐私。
• 隐私导向: API keys 存储在 macOS Keychain 中，且没有托管的 key proxy。
• 情境聚焦: 用户可以手动在屏幕区域上绘制，为 Gemini 提供特定的聚焦情境。