QwenAudio/Fun-Audio-Chat

해결 과제

Fun-Audio-Chat은 자연스럽고 지연 시간이 짧은 음성 상호 작용을 구현하는 과제를 해결합니다. 대규모 언어 모델에서 오디오 데이터를 처리할 때 일반적으로 발생하는 막대한 컴퓨팅 비용을 줄이면서도 고품질의 음성 이해 및 생성 능력을 갖춘 모델을 제공하는 것을 목표로 합니다.

작동 원리

이 프로젝트는 두 가지 주요 혁신을 갖춘 대규모 오디오 언어 모델 (LALM) 아키텍처를 활용합니다.

• 이중 해상도 음성 표현 (Dual-Resolution Speech Representations): 효율적인 5Hz 공유 백본과 25Hz 정밀 헤드를 결합하여 사용합니다. 이 접근 방식은 음성 품질을 저하시키지 않으면서 더 높은 프레임 속도를 사용하는 모델에 비해 GPU 컴퓨팅 요구 사항을 거의 50%까지 줄여줍니다.
• 코어 칵테일 학습 (Core-Cocktail Training): 이 학습 방법은 모델이 오디오 작업을 학습하는 동안 기반이 되는 LLM의 강력한 텍스트 처리 능력을 유지하도록 보장합니다.

대상 사용자

이 도구는 음성 비서, 오디오 분석 도구 또는 실시간 음성 대 음성 (S2S) 및 음성 대 텍스트 (S2T) 기능이 필요한 시스템과 같은 음성 기반 AI 애플리케이션을 구축하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 낮은 지연 시간: 자연스럽고 실시간인 음성 상호 작용을 위해 최적화되었습니다.
• 다양한 기능: 음성 QA, 오디오 이해, 음성 함수 호출 (speech function calling), 음성 지시 따르기 및 음성 공감을 지원합니다.
• 높은 효율성: 이중 해상도 표현을 통해 처리 중 GPU 사용 시간을 크게 줄입니다.
• SOTA 성능: OpenAudioBench, VoiceBench, UltraEval-Audio를 포함한 여러 벤치마크에서 높은 순위를 기록하고 있습니다.