buxuku/SmartSub
视频转字幕、字幕翻译、AI 配音与声音克隆、字幕烧录——免费开源的一站式桌面工具。基于 Whisper / FunASR 等本地模型离线语音转文字，批量处理 + 全平台 GPU 加速，跨 Windows / macOS / Linux。Free, open-source desktop app to generate, translate, dub & burn video subtitles — local Whisper speech-to-text, AI dubbing & voice cloning, offline, GPU-accelerated.
解決する課題
SmartSubは、音声のテキスト化、字幕の翻訳、AI音声の生成といった断片化されたワークフローを解決し、ビデオ処理のための完全な自動化パイプラインを提供します。ユーザーは、複数の disconnected なツールを必要とすることなく、外国語のビデオを、同期された吹き替えと焼き付けられた字幕を備えたローカライズされたコンテンツに変換できます。
仕組み
このアプリケーションは、多段階のパイプラインとして動作します。まず、動画をダウンロードし（yt-dlp/lux経由）、whisper.cppやFunASRなどのローカルエンジンを使用して音声を文字起こしし、様々なサービス（Ollama経由のローカルLLMを含む）を使用してテキストを翻訳し、吹き替えのためにTTS（Text-to-Speech）を実行します。最後に、FFmpegを使用して字幕をビデオに焼き付けるか、ソフト字幕として合成します。
対象ユーザー
- コンテンツクリエイター: 海外の視聴者向けにビデオをローカライズしたい方。
- 言語学習者: 外国語の講義やビデオにバイリンガル字幕を必要とする方。
- ポッドキャスト/会議の主催者: 音声をSRTファイルに一括で文字起こしする必要がある方。
- プライバシー重視のユーザー: 文字起こしやTTSモデルを自身のハードウェア上でローカルに実行することを好む方。
ハイライト
- フルパイプライン: ダウンロード、文字起こし、翻訳、校正、吹き替え、ビデオ合成を網羅。
- ローカルファーストのプライバシー: ローカルモデル（Whisper, Kokoro, VITS）を使用したオフライン処理をサポートし、ファイルをユーザーのマシン内に保持します。
- ハードウェアアクセラレーション: NVIDIA CUDA、AMD/Intel Vulkan、およびApple Silicon (Core ML/Metal) をサポート。
- 広範な統合: 20以上の翻訳サービスと様々なクラウドASR/TTSプロバイダーに接続。
- ボイスクローニング: ローカルまたはクラウドベースのエンジンを使用したゼロショット・ボイスクローニング機能を搭載。