CrispStrobe/CrispASR
C++ ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, etc, plus universal forced alignment, and more
CrispASR – 단일 바이너리 멀티 모델 음성 엔진
개요 – CrispASR은 단일 실행 파일에서 119개의 다양한 음성 관련 모델(자동 음성 인식(ASR) 및 텍스트 음성 변환(TTS))을 실행할 수 있는 C++ 전용 명령줄 도구(및 라이브러리)입니다. 오픈 소스 whisper.cpp 프로젝트를 기반으로 하며, 다른 많은 GGUF 형식 모델(Parakeet, Canary, Qwen-3, Voxtral 등)을 위한 통합 런타임을 추가합니다. Python, PyTorch 또는 모델별 개별 바이너리가 필요하지 않습니다. 모델 파일을 다운로드하고 도구를 지정하기만 하면 됩니다.
주요 기능
| 기능 | 세부 정보 |
|---|---|
| 단일 바이너리, 119개 백엔드 | --backend NAME으로 백엔드를 선택하거나 GGUF 파일에서 모델 유형을 자동 감지합니다. |
| ASR + TTS + 번역 | OpenAI Whisper, NVIDIA Parakeet, Qwen-3, Voxtral, Granite-Speech, wav2vec2 및 62개의 다양한 TTS 엔진(Kokoro, Qwen3-TTS, Bark, Piper 등)을 지원합니다. |
| Python 의존성 제로 | 순수 C++ 런타임; Python, Rust, Dart, Go, Java, Ruby, JavaScript용 선택적 언어 바인딩. |
| 크로스 플랫폼 | Windows, macOS(Intel & Apple-Silicon), Linux용 사전 빌드된 바이너리와 브라우저용 4.3MB WebAssembly 빌드. |
| GPU 지원 | 별도의 CUDA, Vulkan, HIP 빌드; CUDA 빌드는 CPU로 폴백하며, Vulkan/HIP은 일치하는 드라이버가 필요합니다. |
| 서버 모드 | 동시 요청을 위한 워커 설정이 가능한 HTTP API(crispasr --server …)로 실행합니다. |
| 스트리밍 및 실시간 전사 | 실시간 마이크 캡처 및 WebSocket 스트리밍. |
| 후처리 | 단어 수준 타임스탬프, SRT/VTT/JSON 내보내기, 화자 분리(diarization), 언어 감지 및 선택적 번역. |
| 모델 관리 | -m auto는 ~/.cache/crispasr/로 모델을 자동 다운로드하며, crispasr --list-backends는 지원되는 모든 모델을 표시합니다. |
| 규정 준수 | EU AI 법, 합성 오디오 워터마킹 및 음성 복제 동의에 관한 문서. |
일반적인 워크플로우(빌드 불필요)
- 바이너리 다운로드: Releases 페이지에서 OS용 바이너리를 다운로드합니다.
- TTS 데모 실행:
crispasr --backend kokoro -m auto \ --tts "The quick brown fox jumps over the lazy dog." \ --tts-output hello.wav - 결과 전사:
전사된 텍스트와 처리 속도(예: 10× 실시간)가 출력됩니다.crispasr --backend parakeet -m auto -f hello.wav -l en
생태계
- CrisperWeaver – 오프라인 전사를 위해 CrispASR을 사용하는 Flutter UI 앱(데스크톱 및 모바일).
- CrispEmbed – 텍스트 임베딩, OCR 및 멀티모달 검색을 위한 자매 라이브러리로, 동일한 GGUF 기반 런타임을 공유합니다.
- Susurrus – 여러 ASR 백엔드를 래핑하는 Python GUI; CrispASR의 C++ 접근 방식에 대응하는 도구입니다.
시작하기 및 리소스
- 빠른 시작 문서 –
docs/getting-started.md에서 첫 실행 방법을 안내합니다. - 전체 기능 매트릭스 –
docs/feature-matrix.md에서 모든 백엔드와 기능을 나열합니다. - 서버 및 동시성 –
docs/server.md및docs/concurrency.md에서 HTTP API 확장 방법을 설명합니다. - 바인딩 –
docs/bindings.md에서 다른 언어로 C-ABI를 호출하는 방법을 보여줍니다. - 벤치마킹 –
docs/benchmarking.md에서 재현 가능한 타이밍 스크립트를 제공합니다. - 라이브 데모 – HuggingFace Space: https://huggingface.co/spaces/cstr/CrispASR
대상 사용자
- 개발자: 무거운 Python 스택 없이 가볍고 이식 가능한 음성 엔진이 필요한 경우.
- 엣지/오프라인 애플리케이션(모바일, 임베디드, 브라우저): 단일 바이너리나 WASM 모듈이 선호되는 환경.
- 연구원: 다양한 오픈 웨이트 ASR/TTS 모델을 빠르게 실험하고 싶은 경우.
- 기업: 명확한 라이선스(대부분의 모델은 MIT/Apache-2.0 또는 CC-BY)를 갖춘 온프레미스 솔루션이 필요한 경우.
결론 – CrispASR은 대규모 오픈 웨이트 모델 카탈로그를 단일하고 빠른 C++ 바이너리로 통합하고, 선택적 바인딩 및 서버 기능을 갖춘 실무용 음성 처리 툴킷입니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트