oxbshw/watch-skill

解決的問題

Watch Skill 為 AI 代理提供了「看見」並記憶影片內容的能力。它解決了代理每次被問問題時都需重新處理影片的問題，以及在瀏覽器或桌面環境中執行任務時缺乏可靠驗證的問題，因為視覺上的「成功」訊息可能隱藏技術性失敗。

工作原理

該系統使用場景感知幀、螢幕文字（OCR）和語音轉錄，為影片、直播串流和螢幕錄製建立可搜尋、帶時間戳的索引。它採用混合檢索系統（全文與向量），回答問題時提供具體的時間戳引用。針對代理工作流程，它實作了「THE LOOP」，即捕獲-批判-修復循環，記錄代理的操作，並透過決定性合約與網路請求進行驗證，以確保任務確實成功完成。

適用對象

專為使用 LangChain、CrewAI 或 AutoGen 等框架建構 AI 代理的開發者，以及需要代理分析影片證據或以高可靠性操作瀏覽器的 AI 編碼助手使用者（如 Claude Code、Cursor 或 Windsurf）設計。

主要亮點

• 持久化影片記憶：分析一次影片後，無需重新下載或重新轉錄即可進行多次查詢。
• THE LOOP 驗證：結合視覺批判與決定性檢查（例如，檢查網路請求是否確實回傳 200 OK）的嚴格瀏覽器/桌面流程驗證流程。
• 本地優先處理：支援本地 Whisper 進行語音轉錄，Ollama 進行視覺處理，減少對雲端 API 的依賴。
• 廣泛整合：以 MCP 工具、Claude Code 技能和主流代理框架的原生適配器形式提供。
• 基於證據的回答：提供帶時間戳的引用和置信度水準，而非泛泛的摘要。