Liquid4All/liquid-audio

解決する課題

Liquid Audio は、低遅延でリアルタイムな音声対音声の会話を実現するために設計された、軽量なエンドツーエンドの音声基盤モデルです。音声認識と合成を単一のモデルに統合することで、個別のパイプラインコンポーネントを不要にし、リソースが制限されたデバイスにも適しています。

仕組み

LFM2 バックボーンをベースに構築されており、音声とテキストをトークンとして処理します。パフォーマンスを最適化するために、2つの異なる生成モードを使用します。

• インターリーブ生成 (Interleaved Generation)：テキストと音声トークンを固定パターンで出力し、最初の音声出力までの時間を最小限に抑えることで、流暢なリアルタイム会話を実現します。
• シーケンシャル生成 (Sequential Generation)：特殊なトークンを介してモデルがモダリティの切り替えタイミングを決定します。これは、自動音声認識 (ASR) やテキスト読み上げ (TTS) といった非会話型のタスクに適しています。

対象ユーザー

リアルタイム音声アシスタント、音声テキスト変換/テキスト音声変換アプリケーションを構築する開発者、または関数呼び出しや専門的なチャットなどの特定のタスクに向けて小規模な音声基盤モデルを微調整したい開発者。

ハイライト

• エンドツーエンドアーキテクチャ：単一モデル内で音声対音声、ASR、TTSをサポート。
• 低遅延：制限のあるハードウェア上でのリアルタイム対話に最適化。
• 柔軟な生成：ユースケースに応じてインターリーブモードとシーケンシャルモードの両方を提供。
• 微調整サポート：データ準備ツールと、カスタムタスク適応のための軽量トレーナーが含まれています。
• 多言語サポート：専用の日本語モデルが含まれています。