diodiogod/TTS-Audio-Suite

해결하는 문제

TTS Audio Suite는 다수의 텍스트 음성 변환(TTS), 음성 변환(VC), 자동 음성 인식(ASR) 엔진을 단일 모듈식 워크플로우로 통합하는 포괄적인 ComfyUI 확장 기능입니다. 고품질 음성 합성, 음성 복제, 자막 동기화 오디오 생성을 위한 통합 인터페이스를 제공하여 파편화된 오디오 AI 도구 문제를 해결합니다.

작동 방식

이 제품군은 모듈식 아키텍처를 통해 F5-TTS, Higgs Audio, MOSS-TTS, RVC 등 방대한 AI 오디오 엔진을 통합합니다. 최신 엔진을 위한 Transformers 5 기반의 '메인 환경'과 레거시 스택과의 호환성을 유지하기 위한 '격리된 런타임'을 갖추고 있습니다. 이 시스템은 인라인 감정/스타일 태그, 캐릭터 전환, 그리고 지능형 시프트 로직을 사용하여 생성된 오디오를 자막 타이밍에 맞춰 겹침을 방지하는 특수 SRT 처리 노드와 같은 고급 제어 메커니즘을 지원합니다.

대상 사용자

시각적 노드 기반 환경에서 전문가 수준의 내레이션, 정확한 자막 동기화, 음성 복제 또는 사용자 지정 RVC 모델 학습이 필요한 ComfyUI 사용자, 콘텐츠 제작자 및 애니메이터를 위해 설계되었습니다.

주요 특징

• 방대한 엔진 지원: F5-TTS, DramaBox, Higgs Audio, RVC를 포함한 19개 이상의 엔진 통합.
• SRT 통합: SRT로 전사, 자막 재구성, 일반 텍스트에서 타이밍을 추정하기 위한 전용 노드.
• 고급 음성 제어: 감정, 웃음, 한숨, 운율을 위한 인라인 태그 및 캐릭터와 언어 전환 지원.
• 음성 디자인 및 학습: 참조 없는 음성 디자인 도구 및 통합된 RVC 모델 학습 기능 포함.
• 무음 음성 분석: MediaPipe를 사용하여 무음 비디오의 입 모양 움직임을 감지하고 TTS를 위한 기본 타이밍 템플릿 생성.
• 오디오 도구: 보컬/노이즈 제거, 파형 분석기, 지능형 텍스트 청킹 기능 내장.