inworld-ai/tts

해결하는 문제

이 프로젝트는 고품질 텍스트 음성 변환(TTS) 시스템을 구축하기 위해 필요한 훈련 및 모델링 인프라를 제공합니다. 개발자는 자체 오디오 데이터를 사용하여 SpeechLM 기반 모델의 사전 훈련, 미세 조정 또는 정렬을 수행할 수 있으며, 단일 GPU 환경부터 대규모 멀티 GPU 클러스터까지 지원합니다.

작동 방식

이 시스템은 1D 오디오 코드화기와 결합된 SpeechLM 아키텍처를 사용하여 텍스트를 음성으로 변환합니다. 워크플로우는 다음과 같습니다:

1. 데이터 준비: 원시 오디오와 전사본은 특정 JSONL 형식으로 처리됩니다.
2. 벡터화: 인코더( xcodec2와 호환)를 사용하여 오디오를 오디오 코드로 변환합니다.
3. SFT 훈련: 지도 미세 조정(SFT)을 통해 모델이 텍스트에 조건부로 오디오 코드를 생성하도록 학습시킵니다.
4. RLHF 정렬: 인간 피드백을 통한 강화학습(RLHF)을 사용하여 보상 함수(예: 단어 오류율)를 기반으로 출력을 인간의 선호에 맞게 더욱 정교하게 조정합니다.
5. 추론: 훈련된 모델과 함께 인코더 및 디코더가 텍스트 입력과 오디오 프롬프트로부터 음성을 생성합니다.

대상 사용자

맞춤형 텍스트 음성 변환 모델을 구축하는 AI 연구자 및 엔지니어로, 분산 훈련(DDP, DeepSpeed, FSDP) 및 RLHF 정렬을 지원하는 확장 가능한 훈련 파이프라인을 필요로 하는 분들입니다.

주요 특징

• 분산 훈련: DDP, DeepSpeed, FSDP에 대한 내장 지원으로 다중 GPU 간 확장 가능.
• RLHF 통합: 보상 함수 및 vLLM을 사용한 가속화된 생성 기능을 포함한 정렬 기능을 내장.
• 유연한 모델링: 임의의 SpeechLM 모델을 지원하며 xcodec2 체크포인트와 호환.
• 포괄적인 파이프라인: 데이터 벡터화, 샤드 병합, 서빙용 모델 변환을 위한 즉시 사용 가능한 스크립트 포함.