Liquid4All/liquid-audio

해결하는 문제

Liquid Audio는 저지연 실시간 음성 대 음성 대화를 위해 설계된 경량 엔드투엔드 오디오 파운데이션 모델을 제공합니다. 음성 인식과 합성을 단일 모델로 통합하여 별도의 파이프라인 구성 요소가 필요 없으며, 리소스가 제한된 장치에 적합합니다.

작동 원리

LFM2 백본을 기반으로 구축된 이 모델은 오디오와 텍스트를 토큰으로 처리합니다. 성능 최적화를 위해 두 가지 생성 모드를 사용합니다.

• 인터리브 생성 (Interleaved Generation): 텍스트와 오디오 토큰을 고정된 패턴으로 출력하여 첫 번째 오디오 출력까지의 시간을 최소화함으로써 유연한 실시간 대화를 가능하게 합니다.
• 순차 생성 (Sequential Generation): 특수 토큰을 통해 모델이 모달리티 전환 시점을 결정하며, 이는 자동 음성 인식 (ASR) 및 텍스트 음성 변환 (TTS)과 같은 비대화형 작업에 더 적합합니다.

대상 사용자

실시간 음성 비서, 음성-텍스트/텍스트-음성 변환 애플리케이션을 구축하는 개발자, 또는 함수 호출이나 전문적인 채팅과 같은 특정 작업을 위해 소규모 오디오 파운데이션 모델을 미세 조정하려는 개발자.

주요 특징

• 엔드투엔드 아키텍처: 단일 모델 내에서 음성 대 음성, ASR, TTS를 지원합니다.
• 저지연: 제한된 하드웨어에서의 실시간 상호작용을 위해 최적화되었습니다.
• 유연한 생성: 다양한 사용 사례에 맞춰 인터리브 모드와 순차 모드를 모두 제공합니다.
• 미세 조정 지원: 데이터 준비 도구와 사용자 지정 작업 적응을 위한 경량 트레이너가 포함되어 있습니다.
• 다국어 지원: 전용 일본어 모델이 포함되어 있습니다.