bakrianoo/mazinger

解決する課題

Mazinger Dubber は、動画を多言語に吹き替えるためのエンドツーエンドのパイプラインを提供します。動画のダウンロード、音声の文字起こし、テキストの翻訳、元の話者の音声クローン（またはプリセットの使用）、そして元のタイミングと同期した最終的な吹き替え動画や音声ファイルの生成という複雑なプロセスを自動化します。

仕組み

このシステムは、ダウンロード、文字起こし、サムネイル生成、説明生成、レビュー、翻訳、再セグメント化、音声合成、組み立て、字幕生成という10の再開可能なステージを連結しています。Demucsで分離されたボーカルステムに対して音声活動検出（VAD）を使用し、音声マップを作成することで、吹き替えのセリフが元の音声と完全に一致するタイミングで開始・終了するようにします。このパイプラインは、文字起こし（CohereX, Faster Whisper, Deepgram）やTTS（Qwen3-TTS, OmniVoice）の多様なバックエンドをサポートしており、視覚的な管理やチャンク単位の編集が可能なGradioベースのWeb UI「Mazinger Studio」も含まれています。

対象ユーザー

複数のAIツールを個別に管理することなく、高精度な音声クローンと正確なタイミングで動画コンテンツをローカライズしたいコンテンツクリエイター、翻訳者、開発者。

ハイライト

• ワンコマンドワークフロー: 動画のダウンロードから最終的な組み立てまで、単一のコマンドまたはWeb UIを通じてすべてを処理します。
• 音声クローン: 元の動画から話者の声を自動的にクローンしたり、定義済みの音声テーマやプロファイルを使用したりできます。
• 正確な同期: 字幕スロットだけでなく、元の音声スパンに合わせて吹き替え音声を同期させるため、元のBGMや効果音を保持できます。
• チャンク単位のエディタ: 特定のセグメントの文字起こし、翻訳、タイミングを手動で修正し、変更された部分のみを再吹き替えできます。
• 柔軟なバックエンド: Ollamaを介したローカルLLMや複数の文字起こしエンジンをサポートしており、プライバシー、コスト、GPUリソースのバランスを調整可能です。