via007/bilibili-rag

何を解決するか

Bilibiliの動画コレクション（インタビュー、講義、コースなど）を検索可能で会話可能な個人用知識ベースに変換します。これにより、保存した動画から特定の情報を取得し、動画の内容に基づいて質問を投げかけることができ、全体を再視聴する必要がなくなります。

動作方法

システムは、動画コンテンツを照会可能な形式に変換するためのパイプラインに従います：

1. コンテンツ取得：Bilibiliにログインしてユーザーのコレクションフォルダを読み取ります。
2. 音声認識：動画から音声を抽出し、自動音声認識（ASR）を使用して音声をテキストに変換します。直接リンクがアクセスできない場合、ffmpegを介して音声をローカルにダウンロードするフォールバック機構を備えています。
3. インデックス作成：変換されたテキストをベクトルに変換し、ベクトルデータベース（ChromaDB）と関係データベース（SQLite）に格納します。
4. 検索と生成：RAG（検索拡張生成）アーキテクチャを使用して、関連するテキストセグメントをセマンティック検索で検出し、LLMを用いてそのセグメントに基づいて回答を生成します。

対象ユーザー

• 技術系の動画や公開講座を整理する学生や生涯学習者。
• ポッドキャスト、会議、共有セッションをアーカイブするプロフェッショナル。
• Bilibiliの動画コレクションから知識を効率的に要約・レビューしたいすべての人。

特徴

• 自動化パイプライン：コレクションの取得からASR、ベクトルインデックス作成までをすべて自動処理。
• マルチパート対応：マルチパート（マルチ-P）動画の音声認識とインデックス作成をサポート。
• ソースの追跡性：回答は変換された動画コンテンツに基づいています。
• エクスポートオプション：オリジナルコンテンツやAI生成のメモをMarkdown形式でエクスポート可能。
• OpenClaw統合：ローカルサービスをOpenClawエージェントフレームワークに統合するためのスキルを含んでいます。