Blue-B/WhisperSubTranslate

何を解決するか

WhisperSubTranslate は、ローカルアプリケーションとして、動画の音声を多言語字幕に変換します。クラウドベースの高コストなサービスに依存せずに、ユーザーのマシン上で動画データを完全にプライベートな状態で処理できるようにします。

動作方法

アプリは whisper.cpp を使ってローカルで音声認識（SRTファイルの生成）を行い、翻訳には以下の2つの方法を提供します：

1. オフライン翻訳：バンドルされた Tencent Hy-MT2 モデル（1.8B または 7B）を用いて、デバイス上でテキストを翻訳します。
2. オンライン翻訳：DeepL、OpenAI、Gemini、Claude などの外部API、または OpenAI互換のプロバイダー（例：Ollama、vLLM）と統合します。

また、標準モデルがタイミングを維持できない非英語動画における字幕のズレを修正する専用の「同期修復」モデル（large-v2 Sync および Sync Lite）も搭載しています。

対象ユーザー

100以上の言語で字幕を生成し、15のターゲット言語に翻訳する必要があるコンテンツクリエイターおよびユーザー。特にプライバシー、オフライン動作、およびローカルGPU加速（CUDA/Vulkan）を重視する方々に最適です。

特徴

• 100% ローカル処理：音声認識とオプションの翻訳を、アカウントやアップロードなしに完全にオフラインで実行可能。
• 柔軟な翻訳エンジン：バンドルされたローカル Hy-MT2 モデルと、さまざまな高機能クラウドAPIの選択が可能。
• 自動セットアップ：モデルのダウンロードを自動で処理し、ユーザーがPythonの手動インストールを必要としない。
• 同期修復：非英語動画におけるタイミングズレを補正する専用エンジン。
• ハードウェア加速：NVIDIA CUDA および AMD、Intel の Vulkan 対応GPUをサポートし、処理速度を向上。