oxbshw/watch-skill

解決する課題

Watch Skill は、AIエージェントに動画コンテンツを「見る」ことと記憶することを可能にします。エージェントが質問が投げかけられるたびに動画を再処理する必要があるという問題、およびブラウザやデスクトップ上でタスクを実行するエージェントに対して信頼できる検証ができないという問題を解決します。視覚的な「成功」メッセージが技術的な失敗を隠す可能性があるため、この問題は特に重要です。

動作方法

このシステムは、シーン認識フレーム、画面内テキスト（OCR）、および音声認識を用いて、動画、ライブストリーム、画面録画の検索可能でタイムスタンプ付きのインデックスを作成します。フルテキストとベクトルのハイブリッド検索システムを使用して、特定のタイムスタンプを含む回答を提供します。エージェントワークフローでは、「THE LOOP」と呼ばれるキャプチャ・クライティック・フィックスのサイクルを実装しており、エージェントの行動を記録し、確定的な契約やネットワークリクエストに基づいて検証することで、タスクが実際に成功したことを保証します。

対象ユーザー

LangChain、CrewAI、AutoGenなどのフレームワークを使用してAIエージェントを開発している開発者、およびClaude Code、Cursor、WindsurfなどのAIコーディングアシスタントのユーザーで、エージェントが動画証拠を分析したり、高信頼性でブラウザを操作したりする必要がある人向けです。

主な特徴

• 永続的な動画記憶: 動画を一度分析すれば、再ダウンロードや再音声認識なしに複数回の検索が可能。
• THE LOOP検証: 視覚的評価と確定的チェック（例：ネットワークリクエストが実際に200 OKを返したかを確認）を組み合わせた、厳格なブラウザ/デスクトップフロー検証プロセス。
• ローカル優先処理: 音声認識にはローカルWhisper、視覚処理にはOllamaをサポートし、クラウドAPIへの依存を低減。
• 広範な統合: MCPツール、Claude Codeスキル、主要なエージェントフレームワーク用ネイティブアダプタとして提供。
• 証拠に基づく回答: 一般的な要約ではなく、タイムスタンプ付きの引用と信頼度レベルを提供。