HUANGCHIHHUNGLeo/claude-real-video

何を解決するか

多くのLLMは動画ファイルをネイティブに「見る」ことができず、トランスクリプトを読むか、固定間隔（例：1秒ごと）でフレームをサンプリングして処理するのみです。これにより、高速カットを逃すか、静止シーンでトークンを無駄に消費する場合があります。claude-real-videoは、最も意味のある視覚的変化のみを抽出し、タイムスタンプ付きトランスクリプトを提供することで、任意のLLMが動画を効果的に「見る」ことを可能にします。すべての処理はユーザーのマシン上でローカルに行われます。

動作方法

このツールは、専用のユーティリティのパイプラインを使用して、ローカルで動画を処理します：

1. フレーム抽出：ffmpeg を使用して、固定間隔ではなくシーン変化検出に基づいてフレームを抽出します。
2. 重複削除：スライディングウィンドウによる重複削除処理で、ほぼ同一のフレームを削除し、LLMに送信されるのは唯一の視覚情報のみになります。
3. トランスクリプト生成：OpenAIのWhisper（またはパフォーマンス最適化のための faster-whisper および mlx-whisper）を使用してタイムスタンプ付きトランスクリプトを生成します。
4. パッケージング：キーフレーム、MANIFEST.txt ファイル、トランスクリプトを含むクリーンなフォルダを出力し、ユーザーはこれをClaude、ChatGPT、GeminiなどのLLMにアップロードできます。
5. 統合：Claude Code、Cursorなどのコーディングエージェントのスキルとしてインストール可能またはMCPサーバーとして実行でき、エージェントが直接動画分析プロセスをトリガーできます。

対象ユーザー

• AIパワーユーザー：クラウドプロバイダーに原始動画をアップロードせずに、LLMに動画からの視覚的文脈を与える必要がある人。
• 研究者・アナリスト：特定の視覚的手がかり（コードやスライドなど）が重要な長時間の会議、チュートリアル、スクリーンレコーディングを分析する必要がある人。
• 開発者：動画コンテンツを「見る」ことと、その内容について推論できる能力を持つAIエージェントを開発している人。

特徴

• ローカル処理：動画分析、フレーム抽出、トランスクリプト生成はすべてユーザーのマシン上で行われます。LLMに共有されるのは最終的に選択されたフレームとテキストのみです。
• スマートサンプリング：シーン変化検出と適応的サンプリングを使用して、高速カットとゆっくりした変化を捉えつつ、静止スライドを1フレームに圧縮します。
• umaグリッドビュー：フレームを3x3のコンタクトシートにタイル配置し、モデルが動きや進行をより少ないトークンで追跡できるようにします。
• 高度なオーディオ機能：ローカルでのスピーカーディアライゼーションをサポートし、トランスクリプト内で異なる発話者をラベル付けできます。
• メモリシステム：すべての視聴済み動画をローカルのSQLiteデータベースにインデックス化し、crv-ask を使ってユーザーの全動画ライブラリを検索できます。
• MCPサーバー対応：Claude DesktopやCursorなどのMCP対応クライアントと直接統合できます。