oxbshw/watch-skill

解决的问题

Watch Skill 为 AI 代理提供感知视频、音频和屏幕活动的能力，并通过确定性合约验证其操作结果。它解决了代理在与多媒体源交互或执行任务时，依赖模型意见而非可验证证据的问题。

工作原理

该项目包含两个主要功能：

1. 感知：将视频、音频和屏幕活动转换为带绝对时间戳的帧、转录文本和 OCR 文本。这创建了一个可搜索的源索引，使代理能够引用特定时刻作为证据。
2. 验证：使用独立进程评估“冻结合约”（如文件摘要、JSON 值、SQL 结果、HTTP 响应和 DOM 状态），提供确定性判断（VERIFIED、FAILED、UNVERIFIED 或 INCONCLUSIVE），该判断不来自语言模型。

可通过 MCP（Model Context Protocol）、CLI 或 REST API 集成到现有代理中。还包含一个名为 DeepWatch 的专用工作区，基于 DeepSeek Harness 构建，将这些工具整合到一个现成的代理环境中。

适用人群

• AI 代理开发者：希望赋予其代理“看”和“听”多媒体内容并证明其工作的开发者。
• MCP 客户端用户：使用 Claude Code、Cursor 或 Zed 等工具，希望为其现有代理添加感知和验证功能的用户。
• 修复 UI/UX 问题的开发者：使用「THE LOOP」（观察、批评、修复、验证）自动化捕获和验证 Web 应用中的视觉缺陷的开发者。

主要亮点

• 确定性验证：结果由独立进程验证，而非 LLM，确保准确性。
• 带时间戳的证据：代理提供的每个答案都引用视频或音频源中的特定时间戳。
• THE LOOP：一种专门的工作流，用于捕获浏览器会话、通过视觉模型评估输出、修复代码，并通过重新捕获验证修复结果。
• 广泛的代理集成：通过 MCP 支持超过 25 个代理，包括 Cursor、Claude Code 和 VS Code。
• 本地优先：从修正中学到的经验存储在本地，不会上传，并在运行之间持久化。