taoufik123-collab/claude-watch

何を解決するか

Claudeはネイティブに「動画を見る」機能を備えていません。このプロジェクトは、動画ファイルやURL（YouTube、TikTokなど）を処理できるスキルを提供し、キーフレームと字幕を抽出することで、AIが視覚的・音声的コンテンツについて質問に答えることができるようになります。ユーザーは動画全体を視聴する必要がありません。

動作方法

1. 処理パイプライン：ツールは yt-dlp を使って動画をダウンロードし、ffmpeg を使ってフレームを抽出します。100フレームを上限とする自動スケーリングフレーム予算を使用して、トークンコストを管理しながら視覚的カバレッジを維持します。
2. 字幕抽出：まずネイティブ字幕を取得しようとします。利用できない場合は、Whisper（GroqまたはOpenAI経由）を使ってタイムスタンプ付きの字幕を生成します。
3. マルチモーダル入力：抽出されたフレーム（JPEG形式）と字幕がClaudeのコンテキストに供給され、AIがコンテンツを「見る」かつ「聞く」ことができるようになります。
4. 専門的分析：最初の10秒間の濃密な分析用に「フックマイクロスコープ」を備え、シーン変化検出により、固定間隔ではなくシーンの切り替わりごとに1フレームをキャプチャします。
5. 統合：Claude Codeのプラグイン、claude.ai用のスキル、またはCodexスキルとしてインストール可能です。

対象ユーザー

• コンテンツクリエイター：流行するフックや競合コンテンツの構造を分析するため。
• 開発者：スクリーンレコーディングからバグを診断するため。
• 研究者：2倍速で視聴する必要なく、長時間の動画を迅速に要約するため。

特徴

• シーン変化ベースのフレーム抽出：視覚的なカットに基づいてフレームをキャプチャすることで、動画の長さに関係なくトークンコストを安定化します。
• フックマイクロスコープ：動画の最初の10秒間に対して高密度のフレームと単語レベルの字幕を提供します。
• Obsidian統合：オプションで自動保存機能を提供し、視聴済みの動画を接続されたWikiエントリに変換できます。
• 集中モード：--start および --end フラグをサポートし、特定の時間帯を高密度でスキャンできます。