franzenzenhofer/big-arrow-on-the-screen
Let your AI agents paint big arrows, boxes and text on your Mac screen. One CLI, click-through, gone by itself. Skill for Claude Code and Codex. MIT.
解决的问题
当 AI 代理程序需要用户在屏幕上执行特定操作(例如:“点击对话框中的‘允许’”)时,往往难以与人类沟通。与其在用户可能没在看的终端中输出文字信息,big-arrow-on-the-screen 允许代理程序通过高度可见的箭头与标签,在 macOS 桌面上视觉化地指向特定的 UI 元素、窗口或坐标。
运作方式
这是一个使用 Swift 编写的 macOS 命令行工具,它会在所有窗口、显示器与空间之上创建一个透明的覆盖窗口。它能绘制指向目标(可通过标签、坐标或窗口标题定义)的箭头、方框或圆环,且不会抢占键盘焦点或阻挡对目标元素的点击。它包含一套供 AI 代理程序(如 Claude Code 与 Codex)使用的“技能”配置,使其能自主使用这些指令。
适用对象
- AI 代理程序开发者: 为其代理程序提供引导用户进行 UI 交互的方式。
- 终端用户: 在代理程序引导下完成复杂设置或权限操作的用户。
- 开发者/测试人员: 用于制作视觉化演示、文档或调试 UI 坐标。
特色亮点
- 非侵入式: 点击可穿透至目标;键盘焦点维持在当前应用程序。
- 灵活定位: 可通过 UI 元素标签、全局坐标、窗口标题或特定浏览器标签页进行指向。
- 丰富视觉效果: 支持多种形状(直线、锯齿、螺旋)、样式(箭头、圆环、方框)、大小与自定义颜色。
- 交互元素: 包含标记内的复制到剪贴板按钮以及可选的关闭按钮。
- AI 代理就绪: 为 LLM 代理程序提供专用技能,并使用标准退出代码进行程序化反馈。
- 零权限绘图: 绘制覆盖层不需要 macOS 权限,但寻找特定元素可能需要辅助功能权限。
相关
- 项目
- 项目
- 项目
- 项目