KittenML/KittenTTS

解決する課題

Kitten TTSは、高品質で自然な音声をテキストから生成するオープンソースのテキスト読み上げ（TTS）ライブラリです。GPUを必要とせず、CPUを含むコンシューマー向けハードウェア上で効率的かつ表現力豊かな音声合成を実行したいというニーズに応えます。

仕組み

このライブラリは、1.7Bパラメータの1ビット音声言語モデルであるKittenTTS 2と、一連の軽量なONNXモデル（15M-80Mパラメータ）という2つの主要なモデルファミリーを特徴としています。KittenTTS 2は、ターゲットとなる話者の5〜30秒の音声クリップを参照として使用することで、インコンテキスト音声クローンを実現します。話者埋め込みとプロンプト内のコーデックトークンを組み合わせるデュアルルートアプローチを採用し、話者の同一性を保持します。また、20言語にわたる多言語合成をサポートし、数字、日付、略語を自動的に展開するテキスト前処理機能も備えています。

対象ユーザー

このツールは、高価なGPUインフラを必要とせずに、音声クローンや感情表現の制御を伴う音声合成をアプリケーションに統合したい開発者やクリエイター向けに設計されています。

主な特徴

• ゼロショット音声クローン (Zero-shot voice cloning)：微調整なしで、短い音声サンプル（5〜30秒）からあらゆる声をクローン可能。
• CPU最適化：llama.cppのフォークによるC++推論の最適化により、CPU上でリアルタイムなパフォーマンスを実現。
• 表現制御：感情、音声イベント（笑い声など）、強調などのタグを使用して、話し方を制御可能。
• 多言語サポート：20種類の言語をサポート。
• 長文対応：長文スクリプトに対する自動的な文単位のチャンク分割とシームレスな結合。
• ストリーミング：チャンクレベルのストリーミングをサポートし、再生開始までの遅延を低減。
• 豊富な内蔵音声：47種類の事前定義された音声を収録。