lycohana/BiliSum

What it solves

BiliSumは、長尺の動画コンテンツから知識を抽出・整理することの難しさを解決します。Bilibili、YouTube、またはローカルファイルからの動画を、構造化されたテキスト、視覚的なノート、および検索可能な知識ベースへと変換するプロセスを自動化し、手動での文字起こしやノート作成の必要性を排除します。

How it works

このツールはパイプラインに従います。まず動画コンテンツをインポートし、ASR (Automatic Speech Recognition) を使用して文字起こしを行い、次に LLM と VLM (Vision Language Models) を用いて要約、構造化されたノート、およびマインドマップを生成します。キーフレームを抽出して、視覚的な文脈に基づいて画像がテキストに統合された「VLMが理解した」視覚的ノートを作成することも可能です。長期的な保存のために、embeddings を使用して、複数の動画にわたる意味的な検索とQ&Aのためのローカル RAG (Retrieval-Augmented Generation) システムを構築します。

Who it’s for

教育的または情報的な動画コンテンツを視聴し、そのコンテンツを永続的で検索可能な個人の知識ベースへと変換したい学生、研究者、および生涯学習者に向けた設計となっています。

Highlights

• Multimodal Note-taking: 文字起こしとAIが選択した動画のスクリーンショットを組み合わせることで、視覚的なノートを生成します。
• Local-First Privacy: データ、インデックス、および設定はローカルに保存され、ローカル LLM と embeddings のサポートを提供します。
• Flexible Input: Bilibili、YouTube、およびローカルの動画形式 (mp4, mkv, mov, webm) をサポートしています。
• Agent Integration: CLI を提供し、Claude や Cursor のような AI エージェントが要約や文字起こしをトリガーできる特定の「skill」を提供します。
• Knowledge Management: 動画を横断した意味的な検索とマインドマップ生成のための、RAG ベースの知識ベース機能を備えています。