zrt-ai-lab/ViNote

解決する課題

ViNoteは、YouTubeやBilibiliなどのプラットフォームやローカルファイルからの動画コンテンツを構造化された知識資産に変換します。文字起こし、要約、知識整理を自動化することで、情報抽出のために長い動画を手動で視聴する手間を排除します。

仕組み

このシステムは、既存のプラットフォームの字幕を優先的に抽出して時間を節約するパイプラインを使用します。字幕がない場合は、Faster-Whisperを使用してローカル音声の文字起こしを行います。その後、LLM（OpenAI互換API経由）がテキストを処理して、構造化されたMarkdownノート、要約、マインドマップを生成します。また、DeepSeek Harness SDKを搭載したAIエージェント（ViNoter）も備えており、ユーザーは自然言語を使用してプラットフォーム間で動画を検索し、ノート生成をトリガーできます。

対象ユーザー

• 学生や研究者：教育用動画から情報を迅速に統合する必要がある方。
• コンテンツクリエイター：動画ベースの調査を整理したい方。
• ナレッジワーカー：動画チュートリアルを検索可能な構造化ドキュメントに変換したい方。

ハイライト

• 会話型動画検索：自然言語リクエストに基づいてYouTubeとBilibiliを検索し、ノートを生成するAIエージェント。
• マルチフォーマット出力：構造化ノート、要約、インタラクティブなマインドマップ（Markmap経由）、ナレッジカードを自動的に作成。
• 柔軟な入力：オンラインURL、ローカル動画ファイル（MP4、AVI、MOV、MKV）、プレイリストのバッチ処理をサポート。
• ナレッジ管理：タグでノートを分類し、全文検索を実行するSQLiteベースのシステムを含む。
• QtGuiベースのASR：Whisper、FunASR、Qwen3を含む複数のASRプロバイダーをサポート。