sipeter/CloneTTS

해결하는 문제

CloneTTS는 Android용 오프라인, 네이티브 음성합성(TTS) 엔진으로, 매우 짧은 오디오 샘플을 사용해 특정 음성을 클론할 수 있습니다. 인터넷 연결이 필요 없으며, 데이터가 외부 서버로 전송되지 않아 책이나 긴 텍스트를 읽을 때 개인 정보 보호를 위한 로컬 대안을 제공합니다.

작동 방식

엔진은 ZipVoice를 통해 제로샷 음성 클론 음향 모델과 sherpa-onnx를 통해 효율적인 C++ 추론 파이프라인을 사용합니다. 사용자는 1~3초의 오디오 클립과 정확한 대본을 제공하여 사용자 정의 음성을 생성할 수 있습니다. 이 앱은 시스템 전체 TTS 엔진으로 등록하거나, Legado나 Moon+ Reader와 같은 외부 리더 앱과 통합하기 위해 로컬 HTTP API를 통해 접근할 수 있습니다.

대상 사용자

읽기 앱용 고품질 사용자 정의 음성 합성을 원하는 Android 사용자, 특히 개인정보 보호와 오프라인 기능을 중시하는 사용자들입니다.

주요 특징

• 오프라인 음성 클론: 단 1~3초의 발화만으로 사용자 정의 음성 생성 가능.
• NPU 가속: 플래그십 Qualcomm Snapdragon 기기(8 Gen 2/3/Elite)에서 하드웨어 가속을 지원하여 더 빠른 합성과 낮은 발열을 구현.
• 시스템 통합: 네이티브 Android TTS 엔진으로 작동하거나, 다중 역할 리더용으로 로컬 HTTP API를 통해 접근 가능.
• 사용자 맞춤 설정: 일반 텍스트 또는 정규 표현식 기반의 발음 보정 규칙과 더 자연스러운 휴지 시간을 위한 문장 분할 조정 기능 포함.
• 성능 모니터링: 내장 벤치마크와 실시간 RTF(실시간 요소) 모니터링을 통해 추론 지연을 추적할 수 있습니다.