oxbshw/watch-skill

何を解決するか

Watch Skill は、AIエージェントに動画、音声、画面活動を認識させ、行動の結果を決定論的な契約を通じて検証する能力を提供します。これは、マルチメディアソースとのやり取りやタスク実行において、モデルの意見に頼るのではなく、検証可能な証拠に基づく判断を行うことを可能にします。

動作方法

このプロジェクトは、以下の2つの主要機能で構成されています：

1. 認識：動画、音声、画面活動をフレーム、トランスクリプト、OCRテキストに変換し、それぞれが絶対的なタイムスタンプとリンクされます。これにより、特定の瞬間を証拠として引用できる検索可能なインデックスが作成されます。
2. 検証：別途のプロセスが「凍結契約」（ファイルのハッシュ、JSON値、SQL結果、HTTP応答、DOM状態など）を評価し、言語モデルからではなく、決定論的な判断（VERIFIED、FAILED、UNVERIFIED、INCONCLUSIVE）を出力します。

MCP（Model Context Protocol）、CLI、またはREST APIを介して既存のエージェントに統合可能です。また、DeepSeek Harness 上に構築された専用ワークスペース DeepWatch も提供されており、これらのツールを事前構成されたエージェント環境に統合しています。

対象ユーザー

• AIエージェント開発者：エージェントに「見る」「聞く」能力を付与し、作業の証明を行う必要がある人。
• MCPクライアントのユーザー：Claude Code、Cursor、Zed などのツールを使用しており、既存のエージェントに認識と検証機能を追加したい人。
• UI/UXのバグ修正開発者：「THE LOOP」（観察、評価、修正、検証）を用いて、Webアプリケーションの視覚的不具合を自動的にキャプチャ・検証する人。

主な特徴

• 決定論的検証：結果はLLMではなく、別プロセスによって検証され、正確性が保証されます。
• タイムスタンプ付き証拠：エージェントが提供するすべての回答は、動画または音声ソース内の特定のタイムスタンプを引用しています。
• THE LOOP：ブラウザセッションのキャプチャ、ビジョンモデルによる出力の評価、コードの修正、再キャプチャによる修正の検証を含む、専用のワークフロー。
• 広範なエージェント統合：Cursor、Claude Code、VS Code を含む25以上のエージェントをMCPでサポート。
• ローカル優先：修正から得た教訓はローカルに保存され、アップロードされず、実行間で永続化されます。