samuel-vitorino/sopro

何を解決するか

Soproは、巨大な計算力が不要な高品質なボイスクラウンティングと音声合成を提供する、軽量で高性能な音声合成（TTS）システムです。ラップトップのCPUやウェブブラウザ上で直接実行できる効率的でデバイス内での音声合成のニーズに対応しています。

動作方法

Soproは120Mパラメータのモデルファミリー（特にsopro-v2-turbo）を使用しており、短い参照音声（5〜20秒）からゼロショットボイスクラウンティングをサポートします。オフラインモード（最高品質）とストリーミングモード（低遅延音声出力）の2つのモードで動作可能です。システムは英語、ヨーロッパポルトガル語、フランス語、ドイツ語をサポートしており、Python、CLI、またはONNXランタイムを介してデプロイ可能で、ブラウザベースの実行も可能です。

対象ユーザー

消費財ハードウェア上でローカルで実行できる、またはブラウザ上で動作する高速で軽量なTTSエンジンが必要な開発者やクリエイター、またクラウドベースのAPIを必要とせずに小さな音声サンプルからボイスをクラウンティングしたいユーザー。

特徴

• 超軽量: たった120Mパラメータで、ラップトップCPUやブラウザ内で実行可能。
• ゼロショットクラウンティング: 5〜20秒の参照音声だけでボイスをクラウンティング可能。
• 低遅延: ストリーミング時、ラップトップCPU上で約300msの最初の音声到達時間（time-to-first-audio）を達成。
• 多言語対応: 英語、ヨーロッパポルトガル語、フランス語、ドイツ語に対応。
• ブラウザ対応: ONNXランタイムを介して完全に機能するブラウザデモを提供。