linyqh/NarratoAI

解決する課題

NarratoAIは、映画やテレビ番組の解説動画を作成するためのワンストップ自動化ツールです。脚本の執筆、動画クリップの編集、音声の生成、字幕の追加といった手作業を排除し、クリエイターのコンテンツ制作プロセス全体を効率化します。

仕組み

このツールは、大規模言語モデル（LLM）を使用して脚本を執筆し、動画内容を理解します。パイプラインの各段階に合わせて、さまざまなAIエンジンを統合しています：

• 脚本作成と分析: LLM（DeepSeek R1/V3やQwen2-VLなど）と動画理解バックエンド（TwelveLabs Pegasusなど）を使用して、映像を分析し、解説脚本を生成します。
• オーディオ: 音声生成（TTS）エンジン（IndexTTS、OmniVoice、Tencent Cloud TTSなど）を採用しており、ボイスクローニングにも対応しています。
• オーディオ/音楽: Sonilo AIを統合し、動画内容と編集リズムに基づいたバックグラウンドミュージックを生成します。
• オーディオ/ビデオ同期: 字幕とクリッピングプロセスを自動化し、CapCutのドラフトへの書き出しにも対応しています。

対象者

映画やテレビ番組のまとめ動画、およびショートドラマの解説動画の制作を実際に自動化したいコンテンツクリエイター、ソーシャルメディアインフルエンサー、ビデオエディター。

ハイライト

• ワンストップ・パイプライン: 脚本作成、クリッピング、音声、字幕を単一のワークフローで自動化します。
• 動画理解: Qwen2-VLやTwelveLabs Pegasusなどの高度なモデルをサポートし、ネイティブな動画分析が可能です。
• マルチモーダルAI: LLM、TTS、AI生成音楽（Sonilo AI）を組み合わせ、完全な視聴覚体験を提供します。
• ボイスクローニング: パーソナライズされた音声のために、ローカルのボイスクローニングエンジン（IndexTTS、OmniVoice）をサポートしています。
• マルチモーダル統合: 最終的な手動調整のために、CapCutのドラフトへの書き出しをサポートしています。
• クロスプラットフォーム: WindowsおよびmacOS（Apple Silicon）向けに統合パッケージとして提供されています。