via007/bilibili-rag

解決する課題

Bilibiliの動画コレクション（インタビュー、講義、コースなど）を、検索可能で対話型の個人ナレッジベースに変換します。これにより、ユーザーは動画をすべて見直すことなく、保存した動画の内容について特定の情報を検索したり、質問したりすることができます。

仕組み

このシステムは、動画コンテンツをクエリ可能な形式に処理するためのパイプラインに従います。

1. コンテンツ抽出: Bilibiliにログインしてユーザーのコレクションを読み込み、動画コンテンツを取得します。
2. 文字起こし: 自動音声認識 (ASR) を使用して、動画の音声をテキストに変換します。直接的な音声リンクが利用できない場合は、ffmpegを使用してローカルに音声をダウンロードし、処理のためにアップロードします。
3. インデックス作成: 文字起こしされたテキストはベクトルに変換され、従来のデータベース (SQLite) とともにベクトルデータベース (ChromaDB) に保存されます。
4. 検索と生成: RAG (Retrieval-Augmented Generation) アーキテクチャを使用して、ユーザーのクエリに基づいて関連するテキストセグメントを検索し、LLMを使用して根拠に基づいた回答を生成します。

対象ユーザー

• 技術的な動画や公開コースを整理している学生や研究者。
• ポッドキャスト、インタビュー、会議の録音をアーカイブしている専門家。
• Bilibiliの動画コレクションから知識を要約・復習したいと考えているすべての人。

ハイライト

• 自動化パイプライン: コレクションの取得からASR、ベクトルインデックス作成までをすべて処理します。
• マルチパートサポート: マルチパート (multi-P) 動画を順番に処理できます。
• RAGベースのチャット: ソースを追跡可能な対話形式の回答を提供します。
• エクスポートオプション: 元のコンテンツやAIが生成したノートをMarkdownとしてエクスポートできます。
• 統合: OpenClawのスキルが含まれており、外部エージェントがナレッジベースにアクセス可能です。