cyberofficial/Synthalingua

What it solves

Synthalinguaは、リアルタイムの音声およびビデオにおける言語の壁を打破するために設計されたセルフホスト型のツールです。さまざまな言語の音声を、ほぼリアルタイムで英語（またはその他の多言語出力）に文字起こしおよび翻訳することを可能にし、特にライブ配信（例：VTuber）の視聴や、同期されたキャプション付きのビデオファイルを処理するユースケースをターゲットにしています。

How it works

このツールは、Whisper、FasterWhisper、およびOpenVINOを含むAIモデルを活用して、マイク、HLSストリーム（YouTube、Twitch）、またはローカルファイルからの音声入力を処理します。文字起こしと翻訳のために、GPU（Nvidia CUDA、AMD ROCm）とCPUリソースの両方を利用します。リアルタイムのキャプション表示のためのウェブベースのビデオプレイヤーが含まれており、字幕をSRTまたはVTT形式でエクスポートできます。

Who it’s for

主に、プロの翻訳サービスに頼ることなく、ライブ放送やビデオを理解したいホビーユーザー、学生、および外国語コンテンツ（VTuber視聴者など）のファンを対象としています。

Highlights

• Real-time Translation: ライブHLSストリーム、マイク入力、およびローカルファイルをサポートしています。
• Interactive Video UI: 同期されたキャプションとカスタマイズ可能なスタイリングを備えたウェブベースのプレイヤーです。
• Flexible Hardware Support: CPU、Nvidia GPU（CUDA）、およびIntel iGPU/dGPU/NPU上で動作します。
• Noise & Spam Filtering: ハルシネーション（幻覚）や不要なフレーズをフィルタリングするためのブロックリストと繰り返し抑制機能が含まれています。
• Integration Options: Webhook経由でDiscordに翻訳結果を送信したり、ローカルウェブサーバーを介して表示したりできます。
• Subtitle Generation: 字幕をビデオに焼き付ける、またはトラックとして埋め込むことが可能で、Demucsを使用したオプションのボーカル分離も利用できます。