buxuku/SmartSub

解決する課題

SmartSub は、音声からテキストへの変換、字幕翻訳、校正、音声クローン付き TTS 音声合成、字幕焼き込みなど、オーディオビデオの字幕と吹き替えの完全なパイプラインを 1 つのツールにまとめたオープンソースのデスクトップアプリケーションです。外国語の動画の処理、多言語コンテンツの作成、ナレーションの追加、動画制作の自動化といった問題を、複数の別々のツールを切り替えたりファイルをクラウドに送信したりせずに解決します。パイプライン全体は、ローカルモデルを使用して完全に無料でオフラインで実行できます。

仕組み

コアワークフローは次のとおりです。オンライン動画（YouTube や Bilibili などのプラットフォームから）をダウンロードするか、ローカルファイルをインポートし、ローカル ASR エンジン（whisper.cpp、faster-whisper、FunASR、Qwen3-ASR、FireRedASR、NVIDIA Parakeet など）を使用して音声を字幕に文字起こしし、内蔵の無料サービスまたは 20 以上のクラウド/LLM プロバイダーを介して字幕を翻訳し、統合エディターで字幕を校正および調整し、TTS 吹き替え（ローカルの Kokoro/VITS 音声、ZipVoice ゼロショット音声クローン、または Edge TTS、Azure、ElevenLabs などのクラウドサービス）を合成し、最後に ffmpeg で字幕を動画に焼き込みます（ハードまたはソフト字幕）。GUI に加えて、SmartSub にはコンテキスト認識、マルチモーダルスクリーンショット診断、直接ツール呼び出しを備えた AI コパイロットと、111 のツールを公開する完全な MCP サーバーと CLI が含まれており、外部 AI エージェント（Cursor、Claude Code、Codex）やシェルスクリプトがパイプライン全体をヘッドレスで駆動できます。ローカル処理ではファイルはデバイス上に保持されます。クラウドサービスはオプトインで、プライバシー確認があります。GPU アクセラレーションは CUDA、Vulkan、Apple Core ML/Metal を介してサポートされています。

対象ユーザー

SmartSub は、動画に字幕や吹き替えを追加したり、既存の字幕を翻訳したり、国際的な視聴者向けにコンテンツを再利用したり、メディアワークフローを自動化したりする必要があるコンテンツクリエイター、翻訳者、教育者、ポッドキャスター、ビデオエディター、開発者向けに構築されています。使いやすい GUI を求める非技術ユーザーと、AI エージェントや CI/CD スクリプトに接続したい開発者や AI 愛好家の両方に適しています。

ハイライト

• オールインワンパイプライン：1 つのアプリでダウンロード、文字起こし、翻訳、校正、音声クローン付き吹き替え、字幕焼き込みが可能
• 完全ローカルで無料のパス：オフライン文字起こし、内蔵の無料翻訳ソース、音声クローン付きローカル TTS、ローカル ffmpeg—ローカル手順に API キーや使用制限なし
• 深いコンテキスト認識を備えた AI コパイロット：現在の再生、選択された字幕行、タスクログを理解し、自然言語で字幕を編集したりトラブルシューティングしたりできます
• マルチモーダルスクリーンショット診断：ワークスペースをキャプチャし、ビジョン LLM にエラーポップアップや UI 状態を分析させます
• エージェント自動化：111 の MCP ツールと CLI コマンドにより、外部 AI エージェント（Cursor、Claude Code、Codex）やターミナルスクリプトが制作パイプラインを完全に自動化できます
• 幅広いモデルサポート：8 つの ASR エンジン、20 以上の翻訳サービス、6 つの TTS プロバイダー、複数の LLM エンドポイント（DeepSeek、Qwen、Gemini、OpenAI 互換など）
• プライバシー重視：ローカル処理、オプションのクラウド、テレメトリなし、使用データ収集なし
• クロスプラットフォーム（Windows、macOS、Linux）、GPU アクセラレーション、ワンクリックインストーラー / Homebrew サポート