zhao-kun/VibeVoiceFusion

해결하는 문제

VibeVoiceFusion은 고품질의 다중 스피커 합성 음성 생성 및 음성 클론을 누구나 쉽게 사용할 수 있도록 하는 풀스택 웹 애플리케이션입니다. 복잡한 작업(다중 스피커 대화 합성, LoRA 미세조정을 통한 사용자 정의 음성 적응, 소비자용 GPU에서 메모리 최적화 추론)을 프로그래밍 지식 없이 수행할 수 있도록 합니다.

작동 방식

이 프로젝트는 Microsoft의 VibeVoice 모델을 기반으로 구축되었습니다. 이 모델은 자기회귀(AR) 언어 모델 백본(Qwen)과 확산 기반 정밀화 헤드를 결합한 하이브리드 아키텍처를 사용합니다.

1. 처리: 텍스트는 토큰화되고, 참조 음성 샘플은 임베딩으로 인코딩됩니다.
2. 생성: AR 모델이 음성 토큰을 생성하고, DPM-Solver 기반 확산 헤드가 이를 고품질 오디오 웨이브폼으로 변환합니다.
3. 최적화: 소비자 하드웨어에서 실행하기 위해 Float8 양자화(모델 크기 14GB → 7GB)와 동적 레이어 오프로딩을 구현했습니다. 이는 트랜스포머 레이어를 CPU와 GPU 간에 이동시켜 VRAM을 절약합니다.
4. 사용자 정의: LoRA(저랭크 적응) 미세조정을 지원하여, 특정 음성 데이터셋으로 모델을 훈련시켜 더 나은 스타일 전이와 음성 맞춤화를 가능하게 합니다.

대상 사용자

• 콘텐츠 제작자: 여러 명의 독특한 목소리를 사용해 팟캐스트, 오디오북, 음성 내레이션 기사 등을 제작할 때.
• AI 애호가: 코드를 작성하지 않고 음성 클론과 TTS(Text-to-Speech) 실험을 원하는 사용자.
• 개발자: 완전한 Docker 대응 음성 생성 시스템 배포를 원하는 사람.

주요 기능

• 다중 스피커 대화 편집기: 드래그 앤 드롭으로 순서를 재정렬할 수 있는 시각적 편집기로 복잡한 대화를 편집 가능.
• VRAM 최적화: 균형, 공격적, 극단적 3가지 오프로딩 모드를 제공하여 10GB VRAM의 GPU에서도 모델을 실행 가능.
• LoRA 훈련 세트: 통합된 데이터셋 관리 및 훈련 시스템, 실시간 메트릭, TensorBoard 통합 포함.
• 이중 언어 지원: 영어 및 중국어의 UI 및 백엔드를 완전히 지원.
• 배치 생성: 서로 다른 랜덤 시드를 사용해 1회 배치로 2~20개의 오디오 변형을 생성 가능.