kitlangton/scrawl

Scrawl – 为 AI 代理提供捕获与解释功能

功能概述

• 按下全局快捷键（⌥⇧S）即可录制短屏幕会话。录制时，您可以说话、点击、滚动并在屏幕上绘制。
• 停止录制后，Scrawl 会打包：
  1. 包含您的墨迹叠加的关键帧联系表图像。
  2. 每个关键帧的全分辨率 PNG。
  3. 时间对齐的转录文本和交互时间线（summary.md）。
  4. 描述窗口、光标路径、自动裁剪区域以及捕获内容发送位置的 JSON 清单（scrawl.json）。
• 该包可以在原生审查窗口中打开，发送到 OpenCode（Claude 风格）会话，或导出为 MP4。

对 AI 的重要性

• 该包是视觉加语言任务的结构化表示，LLM 代理可以摄取。代理读取联系表和转录文本，然后可以请求更深入的视图（scrawl zoom …）或单个帧。
• Scrawl 附带一个代理技能（bunx skills add kitlangton/scrawl），可将 scrawl 命令注册到 Claude Code、OpenCode、Codex 等，使代理能够自动获取并探索捕获的上下文。

主要功能

功能	您获得的内容
一键录制	全局热键启动/停止捕获；可选按住以选择区域、窗口或 iPhone 屏幕。
音频 + 转录	使用 Apple Speech（或 Hex）生成同步转录文本，无需超出初始授权的麦克风权限。
实时注释	绘制红色笔划、编号标记，使用 ⌘Z 撤销——全部烘焙到最终帧中。
自动裁剪	在全屏捕获后，Scrawl 分析光标移动、点击和墨迹，自动将每个关键帧裁剪到相关窗口。
代理集成	scrawl zoom、scrawl frames、scrawl send、scrawl export 命令让 LLM 检索聚焦帧、将包发送到 OpenCode 会话，或创建可共享的视频。
开发站点路由	如果捕获结束于本地开发站点，Scrawl 可以自动检测项目的 OpenCode 会话（通过小型 SDK 脚本或检查本地 git 仓库）并将包发送到那里。
跨平台	原生 macOS 应用（Apple Silicon，macOS 26+）、可预览的 Windows 构建（预览版，无自动更新）。
CLI 工具	所有操作（preview、inspect、frames、export、autocrop、mic、devices 等）均可通过 cargo run -- … 供高级用户和自动化使用。
自动更新	macOS 版本通过 Sparkle 更新；Windows 版本为手动 zip。

使用方法

1. 安装应用（macOS 上使用 Homebrew cask，Windows 上使用 zip）。
2. 添加代理技能（bunx skills add kitlangton/scrawl）。
3. 按下 ⌥⇧S，演示问题（说话、点击、绘制），再次按下。
4. 包出现在 ~/Downloads（或自定义文件夹）中。
5. 在 LLM 聊天中，粘贴包或运行 scrawl send … 让代理检查它。

AI 助手的典型工作流程

• 用户录制 UI 错误演示。
• 代理接收包，读取转录文本，查看联系表，并请求对特定时刻进行缩放（scrawl zoom demo.scrawl --at "error dialog"）。
• 代理分析缩放后的帧，建议修复方案，并可选择导出短视频与团队分享。

技术说明

• 权限：屏幕录制、麦克风、辅助功能，以及（可选）用于 iPhone 镜像的摄像头。
• 自动裁剪算法在 Rust 中运行（src/autocrop.rs），可通过本地 JSON 配置或实时 Web UI（scrawl autocrop … --serve）进行调整。
• 所有配置位于 ~/.config/scrawl/config.json。

适用人群

• 希望为 LLM 代理提供具体视觉上下文以进行 UI 调试、入门或文档编写的开发者。
• 使用支持自定义技能的 Claude 风格“代码助手”代理的团队。
• 任何需要快速、可搜索的屏幕加语音演示记录的人。

---

所有细节均直接取自项目 README；未推断任何额外功能。