fishaudio/fish-speech

Fish Speech – 표현력 있는 다국어 텍스트 음성 변환

개요 – 대규모 언어 모델과 신경망 TTS(VITS 스타일)를 결합한 오픈소스 음성 합성 시스템으로, 고품질의 표현력 있는 다중 화자 오디오를 생성합니다. 두 가지 플래그십 모델을 제공합니다:

• Drama 3(35B 파라미터, 토큰당 활성 3B) – 최신 모델로, 장편 다중 캐릭터 장면, 즉석 편집, 강한 감정 뉘앙스에 최적화되어 있습니다.
• S2-Pro(4B 파라미터) – 더 작고 빠른 모델이지만, 다국어 음성 복제, 인라인 운율 태그, 스트리밍 생성을 지원합니다.

주요 기능

• 자연어 제어 – [whisper], [angry], [pause] 같은 태그를 스크립트에 직접 삽입하여 감정, 운율, 타이밍을 제어합니다.
• 음성 복제 – 10~30초의 참조 오디오로 화자의 음색을 재현할 수 있으며, 최첨단 CER/WER을 달성하는 교차 언어 복제를 지원합니다.
• 다중 화자 / 장면 생성 – 여러 캐릭터가 등장하는 전체 대화나 드라마를 한 번에 생성합니다.
• 장편 스트리밍 – 수 분 분량의 텍스트에 대해 연속 오디오를 생성합니다. Drama 3는 새 지시로 세그먼트를 다시 렌더링하는 "감독 수정"도 지원합니다.
• 로컬 편집 / 인필링 – 전체 클립을 다시 생성하지 않고 단어를 교체하거나 삽입하여 음색 연속성을 유지합니다.

사용 방법

• 설치 – 환경 설정, 가중치 다운로드, Docker 배포에 대한 상세 가이드가 https://speech.fish.audio/install/에 제공됩니다.
• 추론 – 명령줄 도구, HTTP API 서버, 웹 UI를 사용하여 로컬에서 음성을 합성하거나 서비스로 제공할 수 있습니다.
• LLM 에이전트 – 동일한 설치 단계를 주문형 TTS가 필요한 자율 에이전트에서 호출할 수 있습니다.

성능

• S2-Pro는 영어/중국어 Seed-TTS 벤치마크에서 1% 미만의 WER을 달성하고 여러 다국어 및 튜링 테스트 지표에서 선두를 달리고 있습니다.
• Drama 3는 다국어 복제, 자유 형식 편집, 다중 턴 감정 수정에 대한 새로운 벤치마크에서 S2-Pro를 능가합니다(자세한 수치는 기술 보고서 PDF 참조).

라이선스

• 코드와 모델 가중치는 Fish Audio Community License 아래에 릴리스됩니다. S2-Pro 가중치에는 Fish Audio Research License가 적용됩니다. 저장소는 불법 사용을 경고하고 라이선스를 집행할 것입니다.

리소스

• Hugging Face의 모델 체크포인트: fishaudio/drama-3 및 fishaudio/s2-pro.
• 기술 보고서(PDF 및 arXiv)에는 아키텍처, 훈련 레시피, 평가가 자세히 설명되어 있습니다.
• 커뮤니티: Discord, Docker Hub, QQ 채널에서 지원을 제공합니다.

혜택을 받을 수 있는 대상

• 표현력 있고 제어 가능한 음성이 필요한 음성 지원 애플리케이션, 게임, 가상 비서를 개발하는 개발자.
• 대규모 다국어 TTS 또는 편집 루프 생성을 연구하는 연구자.
• 각 목소리를 녹음하지 않고 다중 캐릭터 오디오 드라마를 생성하려는 콘텐츠 제작자.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며, 추가 기능은 추론되지 않았습니다.