Xiaoc7r/DOVideo-AI

解決する課題

DoVideoAIは、長尺動画コンテンツの分析に伴う課題（時間とリソースの消費、AI APIコストの増大など）を解決するために設計されています。動画を構造化され、検索可能で、追跡可能な知識へと変換し、すべての結論に元の動画からの特定のタイムスタンプ付き証拠を要求することで、AIにありがちな「ハルシネーション（幻覚）」を防ぎます。

仕組み

このシステムは、動画データを処理するために多層的なアプローチを採用しています：

1. マルチモーダル・コンテキスト抽出: FFmpegを使用して音声のスライスとシーンチェンジ検出を行います。その後、ASR（自動音声認識）とOCR（光学文字認識）を並行して実行し、音声、テキスト、タイムスタンプ付きのキーフレームを含む統合された VideoSegment を作成します。
2. ハイブリッド検索: 動画の5分間のセグメントごとに要約、キーワード、埋め込みベクトルを生成します。キーワードマッチングとQdrantベクトル検索を組み合わせることで、ユーザーのクエリに対して最も関連性の高い証拠を検索します。
3. エージェントループ: 特殊なエージェントループ（プランナー $\rightarrow$ エグゼキューター $\rightarrow$ クリティック）がユーザーの目標をタスクに分解します。クリティックは、出力が構造化されており、タイムスタンプ付きの証拠によって裏付けられていることを確認します。もし裏付けがない場合は、動画コンテンツのターゲットを絞った再検索をトリガーします。
4. 信頼性の高いパイプライン: 大容量ファイルや長い処理時間に対応するため、レジューム機能付きのチャンクアップロード、RocketMQによる非同期処理、コストを制御するためのレート制限を採用しています。

対象ユーザー

学習ガイドを作成する学生、論理的な欠陥を探すレビュアー、ハイライトを抽出するクリエイターなど、動画全体を手動で視聴することなく、長尺動画から構造化された洞察を抽出する必要があるユーザー向けです。

ハイライト

• 証拠に基づくAI: すべての結論がタイムスタンプに紐付けられており、追跡可能性を確保し、AIによる捏造を防ぎます。
• 非同期処理: RocketMQとRedisを使用し、動画分析がメインのリクエストスレッドをブロックしないようにします。
• マルチモーダル融合: ASRとOCRのデータを単一の検索可能なタイムラインに統合します。
• 専門的な分析モード: 一般分析、学習（アウトライン/クイズ）、レビュー（論理的ギャップ）、作成（スクリプト/フック）のための専用モードを提供します。
• 耐障害性: MySQLとRedisによるチェックポイント機能を備えており、最後に成功した段階からタスクを復旧できます。