SmartSub: 動画の文字起こし、翻訳、AI吹き替え、字幕焼き込みのためのオールインワンデスクトップツール

それが解決すること

SmartSubは、動画処理のための完全かつ自動化されたパイプラインを提供し、音声からテキストへの変換、字幕の翻訳、AIボイスオーバーの生成という断片化されたワークフローを解決します。これにより、ユーザーは複数の切り離されたツールを必要とせず、外国語の動画を同期された吹き替えと焼き込み字幕付きのローカライズされたコンテンツに変換することができます。

仕組み

このアプリケーションはマルチステップパイプラインとして動作します：yt-dlp/lux を使ってビデオをダウンロードし、whisper.cpp や FunASR などのローカルエンジンで音声を文字起こしし、さまざまなサービス（Ollama を介したローカル LLM も含む）でテキストを翻訳し、吹き替えのために TTS (Text-to-Speech) を実行します。最後に、FFmpeg を使って字幕をビデオに焼き込むか、ソフト字幕としてマルチプレックスします。

対象ユーザー

• コンテンツクリエイター 国際的な観客向けにビデオをローカライズしたい人
• 言語学習者 外国の講義やビデオのためにバイリンガル字幕が必要な人
• ポッドキャスト/ミーティングオーガナイザー 音声をSRTファイルに一括文字起こしする必要がある人
• プライバシーを重視するユーザー 自分のハードウェアで文字起こしとTTSモデルをローカルで実行することを好む人

ハイライト

• Full Pipeline: ダウンロード、文字起こし、翻訳、校読、吹き替え、ビデオ合成をカバーします。
• Local-First Privacy: (Whisper, Kokoro, VITS) などのローカルモデルを使用したオフライン処理をサポートし、ファイルをユーザーのマシンに保持します。
• Hardware Acceleration: NVIDIA CUDA, AMD/Intel Vulkan, および Apple Silicon (Core ML/Metal) をサポートします。
• Extensive Integrations: 20+ 個の翻訳サービスおよびさまざまなクラウド ASR/TTS プロバイダーに接続します。
• Voice Cloning: ローカルまたはクラウドベースのエンジンを使用したゼロショットボイスクローン機能を提供します。