Liquid4All/liquid-audio

解决的问题

Liquid Audio 提供了一个轻量级、端到端的音频基础模型，专为低延迟、实时语音对语音对话而设计。它将语音识别与合成整合到单一模型中，消除了对独立流水线组件的需求，使其适用于资源受限的设备。

运作原理

该模型基于 LFM2 主干架构，将音频和文本处理为 token。它使用两种不同的生成模式来优化性能：

• 交错生成 (Interleaved Generation)：以固定模式输出文本和音频 token，最大限度地减少首次音频输出的时间，实现流畅的实时对话。
• 顺序生成 (Sequential Generation)：模型通过特殊 token 决定何时切换模态，更适合非对话任务，如自动语音识别 (ASR) 和文本转语音 (TTS)。

适用对象

开发实时语音助手、语音转文本/文本转语音应用程序的开发者，或是希望针对特定任务（如函数调用或专业聊天）微调小型音频基础模型的开发者。

特点

• 端到端架构：在单一模型中支持语音对语音、ASR 和 TTS。
• 低延迟：针对受限硬件上的实时交互进行了优化。
• 灵活生成：提供交错和顺序两种模式，适用于不同使用场景。
• 微调支持：包含数据准备工具和用于自定义任务适应的轻量级训练器。
• 多语言支持：包含专门的日语版本模型。