fishaudio/fish-diffusion

해결하는 문제

Fish Diffusion은 고품질 음성 생성 모델을 만드는 것을 간소화하기 위해 설계된 학습 프레임워크입니다. Text-to-Speech (TTS), Singing Voice Synthesis (SVS), Singing Voice Conversion (SVC) 모델의 학습 복잡성을 줄이기 위해 분리된, 이해하기 쉬운 코드 구조를 제공합니다.

작동 방식

이 프로젝트는 Diffusion 모델을 사용하여 다양한 음성 생성 작업을 처리합니다. FishAudio NSF-HiFiGAN과 같은 보이스 생성기와 통합되며, 피치, 텍스트, 멜 특징 등의 오디오 특징 추출을 지원하여 음성 생성 또는 변환 모델을 훈련할 수 있습니다.

대상 사용자

음성 합성 및 변환 작업에 종사하는 개발자 및 연구자에게 적합합니다. 특히 다중 스피커 학습과 효율적인 하드웨어 활용을 지원하는 프레임워크를 찾는 분들에게 적합합니다.

주요 특징

• 다중 스피커 지원: 여러 다른 목소리를 처리할 수 있는 모델을 훈련할 수 있습니다.
• 효율적인 학습: 반정밀도 학습과 다중 머신, 다중 장치 설정을 지원하여 메모리 사용량을 줄이고 속도를 높입니다.
• 모듈러 디자인: 이전 버전인 diffsvc보다 이해하기 쉬운 분리된 코드 구조를 채택했습니다.
• 광범위한 호환성: 44.1kHz Diff Singer 커뮤니티 보이스 생성기와 호환되며, 기존 DiffSVC 모델을 변환할 수 있는 도구도 제공합니다.