jordanrendric/claude-video-vision

何を解決するか

このプロジェクトは、Claude Codeが「視聴」し、動画コンテンツを理解できるようにする知覚層を提供します。テキストベースのLLMと動画ファイルやYouTube URLの間のギャップを埋め、視覚的・聴覚的データをClaudeが処理できる形式に変換します。

動作方法

このプラグインは、以下のパイプラインを使用して動画を処理するMCP（Model Context Protocol）サーバーとして機能します。

1. 視覚的抽出: ffmpeg を使用して、FPSや解像度などのパラメータに基づいてフレームを画像（JPEG、PNG、WebP）として抽出します。
2. 音声処理: ゴールドAPI、ローカルWhisper（whisper.cpp または openai-whisper）、OpenAI API の3つのバックエンドのいずれかで音声を字幕化します。YouTube動画の場合、手動字幕を優先し、次に自動字幕、最後に音声字幕化を行います。
3. データ配信: 抽出されたフレームとタイムスタンプ付きの字幕を直接Claudeに送信し、モデルが視覚的・聴覚的イベントを解釈できるようにします。
4. 適応的サンプリング: ユーザーのクエリに応じて、Claudeは抽出設定（例：特定のタイムスタンプの解像度を増加）を動的に調整できます。

対象ユーザー

動画ファイルの分析、YouTubeチュートリアルの要約、またはスクリーンショットや手動字幕作成なしに視覚的なバグレポートをデバッグしたいClaude Codeの開発者やユーザー。

特徴

• マルチモーダル入力: 直接的な画像フレームとタイムスタンプ付き音声テキストを組み合わせます。
• YouTube統合: yt-dlp を通じたYouTube動画のダウンロードおよび処理をネイティブでサポートします。
• 柔軟なバックエンド: 速度を重視するクラウドベースAPIまたはプライバシーとコストを考慮した完全ローカルWhisper処理をサポートします。
• 動的制御: FPS、時間範囲、解像度をリアルタイムで調整可能で、特定の瞬間を集中して分析できます。