zrt-ai-lab/ViNote

何を解決するか

ViNoteは、YouTubeやBilibiliなどのさまざまなプラットフォームやローカルファイルからの動画を、構造化された知識資産に変換します。長時間の動画を視聴して情報を抽出する手作業を排除し、音声認識、要約、整理のプロセスを自動化します。

動作方法

このシステムは、yt-dlpによる動画ダウンロードと、Faster-Whisperによる音声認識を組み合わせたパイプラインを使用しています。その後、大規模言語モデル（LLMs）を活用して、音声認識されたテキストを構造化されたノート、要約、マインドマップに処理します。また、ユーザーが自然言語の対話によって検索・音声認識・要約などのタスクを実行できる会話型エージェント「ViNoter」も搭載しています。効率性を高めるために、「字幕優先」戦略を採用しており、利用可能な場合、時間のかかるASRプロセスをスキップします。

対象ユーザー

• 学生および研究者：教育動画やチュートリアルからキーポイントを迅速に抽出するため。
• コンテンツ作成者：動画コンテンツを文章形式や知識カードに整理するため。
• 知識ワーカー：動画ベースの学習資料から個人の知識ベースを構築するため。

主な特徴

• ViNoterエージェント：エンドツーエンドの動画処理を可能にする会話型インターフェース（検索 → 音声認識 → ノート作成 → 翻訳）。
• マルチフォーマット出力：Markdownノート、インタラクティブなマインドマップ（Markmap経由）、専用の知識カードを生成。
• インテリジェントな動画QA：特定の動画コンテンツや既存のノート群に基づいて質問に答えるAI駆動のQAシステム。
• 広範な互換性：YouTube、Bilibili、およびローカル動画ファイル（MP4、AVI、MOV、MKVなど）をサポート。
• 知識管理：タグシステム、17のプリセットカテゴリ、SQLite永続化を備え、大量のノートを整理可能。