oxbshw/watch-skill

解决的问题

Watch Skill 为 AI 代理提供了「观看」和记忆视频内容的能力。它解决了代理每次提问都需要重新处理视频的问题，以及在浏览器或桌面环境中执行任务时缺乏可靠验证的问题，因为视觉上的「成功」消息可能掩盖了技术故障。

工作原理

该系统使用场景感知帧、屏幕文本（OCR）和语音转录，为视频、直播流和屏幕录制创建可搜索、带时间戳的索引。它采用混合检索系统（全文和向量），回答问题时提供具体的时间戳引用。对于代理工作流，它实现了「THE LOOP」，即捕获-批判-修复循环，记录代理的操作，并通过确定性合约和网络请求进行验证，以确保任务确实成功完成。

适用人群

专为使用 LangChain、CrewAI 或 AutoGen 等框架构建 AI 代理的开发者，以及需要代理分析视频证据或以高可靠性操作浏览器的 AI 编码助手用户（如 Claude Code、Cursor 或 Windsurf）设计。

主要亮点

• 持久化视频记忆：分析一次视频后，无需重新下载或重新转录即可进行多次查询。
• THE LOOP 验证：结合视觉批判与确定性检查（例如，检查网络请求是否确实返回了 200 OK）的严格浏览器/桌面流程验证流程。
• 本地优先处理：支持本地 Whisper 进行语音转录，Ollama 进行视觉处理，减少对云 API 的依赖。
• 广泛集成：以 MCP 工具、Claude Code 技能和主流代理框架的原生适配器形式提供。
• 基于证据的回答：提供带时间戳的引用和置信度水平，而非泛泛的摘要。