SAOS-3624/dsh-video-storyboard

解決する課題

このツールは、AIで動画を解析する際に発生する高いトークンコストと情報損失の問題を解決します。何百もの個別のフレームを送信したり（トークンを大量に消費します）、字幕のみに頼ったり（視覚的なコンテキストが失われます）する代わりに、動画の簡潔なマルチモーダル要約を作成します。

仕組み

動画を1枚の「ストーリーボード」画像（キーフレームのグリッド）に処理し、タイムコード付きのテキストリストと組み合わせます。このリストには、タイムスタンプ、対話、ショット数が含まれます。視覚情報をトークン効率の良い小さな形式に凝縮することで、すべてのフレームを処理することなく、AIモデルが動画の内容、ペース、対話を理解できるようになります。

対象ユーザー

動画の内容を素早く把握したい、重要な瞬間を特定したい、あるいはフルフレーム解析の高コストをかけずに特定のシーンを見つけたいユーザー向けに設計されています。視覚的なコンテキストとテキストの詳細のバランスを求める方に最適です。

ハイライト

• トークン効率： 90秒の動画を約1,900トークンに要約し、フレームごとの解析よりも大幅に低コストです。
• マルチモーダル要約： 視覚的なフレームグリッドと、テキストベースのトランスクリプトおよびショットリストを組み合わせます。
• 柔軟な解析： ローカル動画ファイルや yt-dlp を介したリンクをサポートし、対話用のオプションとして ASR（自動音声認識）も利用可能です。
• ディープズーム： 初期の要約では不十分な場合に、特定のセグメントをより詳細に解析できる video_zoom 機能を搭載しています。
• エビデンスベース： すべてのストーリーボードに対して .evidence.json ファイルを生成し、ユーザーが元の動画と照らし合わせてタイムスタンプや内容を検証できるようにします。