zcbacxc/movie-narrator

何を解決するか

Movie Narrator は、映画のリキャップ動画の作成を自動化します。手動で脚本を書いたり、ナレーションを録音したり、字幕を生成したり、クリップを編集したりする手間を省き、1つのプロンプトから完全にナレーション付きの動画を生成できます。

動作方法

このプロジェクトは、映画のタイトルを完成した動画に変換するための16段階の順次パイプラインを使用しています：

1. コンテンツ生成：LLM を使って TMDB を通じてストーリーを調査し、選択した視点（例：全知視点や探偵視点）に基づいてリキャップ脚本を書きます。
2. 音声と字幕：デフォルトで Edge-TTS を使用して脚本を音声に変換し、同期された SRT 字幕を生成します。複数言語への翻訳も可能です。
3. ビジュアルの組み立て：ソース動画内のシーンを検出し、脚本のセグメントにマッチさせ、バックグラウンド音楽を統合します。
4. レンダリング：最終的なアセットを 1080p または 4K の動画にレンダリングし、さまざまなフォーマット（例：16:9 または 9:16）で出力します。

対象ユーザー

ソーシャルメディアや YouTube、TikTok などのプラットフォーム向けに映画リキャップ動画を作成するコンテンツクリエイター、および自動動画ナレーション用の拡張可能なフレームワークを探している開発者に最適です。

特徴

• マルチキャニデート「レース」：複数の脚本バリエーションを生成し、自動的に最適なものを選択します。
• リファレンスの模倣：人気のあるリファレンス動画からナレーションスタイルを抽出し、新しい映画に適用できます。
• VLM 統合：クラウド API を通じて Vision Language Models (VLM) を使用してシーンのキャプションを生成します。
• 柔軟なインフラ：OpenAI 互換のさまざまな LLM（Ollama、Zhipu など）と複数の TTS プロバイダーをサポートします。
• QAゲート：最終出力に黒いフレームやスライドショー風のリスクがあるかを自動検出します。