bradautomates/claude-video

解決する課題

このプロジェクトは、AIエージェント（Claude CodeやCodexなど）が動画を「視聴」できるように、エージェントが理解可能な形式（タイムスタンプ付きのフレームとトランスクリプト）に変換する手段を提供します。これにより、エージェントは動画コンテンツを分析し、視覚的なイベントを要約し、ローカルファイルやURLからタイムスタンプ付きの証拠を提供できるようになります。

仕組み

このツールは主に2つのエンジンで動作します。

1. Gemini Engine: 動画をGoogleのAI動画モデルに直接送信して分析し、タイムスタンプ付きの回答を返します。
2. Local Engine: ffmpeg と yt-dlp を使用してユーザーのローカル環境で動画を処理し、フレームとトランスクリプトを抽出します。文字起こしには、ネイティブ字幕、WhisperXによるローカル推論（独立したPython環境で管理）、またはGroqやOpenAIなどのクラウドAPIといった複数のオプションが利用可能です。

対象ユーザー

動画証拠の処理と分析を必要とするローカルAIエージェント（Claude Code、Codex、およびその他のAgent Skillsホスト）の開発者およびユーザー。

主な特徴

• マルチエンジン対応: 高性能なクラウド分析 (Gemini) か、プライベートなローカル処理かを選択可能。
• 柔軟な文字起こし: ネイティブ字幕、ローカルでのWhisperX文字起こし、クラウドベースのWhisper API (Groq/OpenAI) をサポート。
• エージェント統合: Claude Code (Desktop, VS Code, Terminal) および Codex 向けのネイティブプラグインサポート。
• 詳細設定のカスタマイズ: エージェントのトークン予算に応じて抽出するフレーム数を制御するサンプリングモード (efficient, balanced, token-burner) を提供。
• スマートなフレーム選択: シーンチェンジ検出とRGBサムネイルの重複排除機能により、冗長なフレームを回避。