xcLee001/SonicVale
一个开源的多角色、多情绪 AI 配音生成平台，支持小说、剧本、视频等内容的自动配音与导出。
해결하는 문제
SonicVale (음곡)은 소설, 스크립트, 비디오용 다중 캐릭터 및 다중 감정 음성 오버를 자동화하기 위해 설계되었습니다. 긴 형식의 콘텐츠에서 대사의 각 라인에 음성과 감정을 수동으로 할당하는 번거로움을 제거합니다.
작동 방식
이 플랫폼은 대규모 언어 모델(LLM)과 음성 합성(TTS) 엔진을 통합하여 텍스트를 오디오로 변환합니다. LLM을 사용해 대사를 자동으로 분할하고 역할을 할당하며, Index-TTS-2.0 엔진을 활용해 감정 표현이 풍부한 음성 합성을 수행합니다. 사용자는 텍스트를 가져오고, 캐릭터 음성 라이브러리를 관리하며, 특정 감정을 역할에 연결하고, 최종 결과를 내보내기 전에 정밀한 오디오 편집(예: 침묵 추가 또는 세그먼트 삭제)을 수행할 수 있습니다.
대상 사용자
다수의 캐릭터를 포함하는 서사 중심 콘텐츠에 고품질이고 감정 표현이 풍부한 AI 음성 오버가 필요한 콘텐츠 제작자, 작가, 영상 제작자.
주요 기능
- 자동 대사 분할: 사용자 정의 프롬프트와 LLM을 사용해 스크립트를 캐릭터별 대사로 분할.
- 다중 감정 지원: Index-TTS-2.0을 통합해 각 캐릭터에 세밀한 감정 톤 제공.
- 캐릭터 관리: 여러 장에 걸쳐 일관된 음성 연결을 유지하기 위한 전용 역할 라이브러리.
- 정밀한 오디오 편집: 수동으로 오디오 조각을 삭제하거나 침묵을 삽입해 리듬을 개선 가능.
- 유연한 통합: OpenAI API 프로토콜과 호환되는 모든 LLM을 지원.
관련
- 프로젝트
jianchang512/pyvideotranspyVideoTrans는 음성-텍스트, AI 번역, 텍스트-음성(옵션으로 음성 클론)을 연결하는 오픈소스 Python 도구입니다. GUI, WebUI, CLI, Docker 배포를 지원하며, 로컬 모델(Faster-Whisper, F5-TTS 등) 또는 클라우드 API(OpenAI, Azure, Google 등)로 작동 가능합니다. 자막 편집, 화자 구분, GPU 가속 등의 유틸리티도 포함되어 있습니다.
- 프로젝트
QwenAudio/CosyVoiceCosyVoice는 고품질의 제로샷 다국어 음성 합성 및 보이스 클로닝을 위해 설계된 고급 LLM 기반 텍스트 음성 변환(TTS) 시스템입니다.
- 프로젝트
jamiepine/voicebox음성 복제, 텍스트 음성 변환(TTS), 시스템 전체 받아쓰기를 지원하는 오픈소스 로컬 우선 AI 음성 스튜디오로, MCP 지원 AI 에이전트와 통합됩니다.
- 프로젝트
dramaclaw/dramaclawDramaClaw는 대본을 단편 영화로 전환하는 자체 호스팅, 소스 공개 AI 기반 제작 플랫폼입니다. 이미지, 비디오, 오디오 및 3D 세트의 자유 형식 생성을 위한 노드 기반 "무한 캔버스"(XiaHua)와 원고를 입력받아 에피소드를 계획하고, 대본을 작성하고, 스토리보드를 만들고, 음성을 합성하고, 비디오를 구성하고, 최종 컷을 내보내는 구조화된 "시리즈" 파이프라인(XiaJi)을 제공합니다. 통합 AI 어시스턴트(Xia Director)가 두 트랙을 모두 구동할 수 있습니다. 시스템은 Docker를 통해 실행되며, 모든 무거운 모델 추론을 OpenAI 호환 게이트웨이(공식 또는 사용자 지정)를 통해 라우팅하고, Elastic 2.0에 따라 라이선스가 부여되어 필수 크레딧 배지와 함께 상업적 사용이 가능합니다.
- 프로젝트
Xerophayze/TTS-StoryTTS-Story는 다중 음성 오디오북 생성을 위한 웹 UI입니다. 스피커 태그 지정, 음성 디자인 또는 복제(Google Gemini Cloud 또는 많은 로컬 모델을 통해), TTS 작업 큐 실행, 앱 내 오디오 검토, MP3/M4B 내보내기가 가능합니다. 20개 이상의 엔진, GPU/CPU 분리, 일괄 음성 캐스팅, 지시된 내레이션, 선택적 LLM 텍스트 준비를 지원합니다.