TrevorS/voxtral-mini-realtime-rs

해결 과제

이 프로젝트는 Mistral의 Voxtral Mini 4B (ASR) 및 Voxtral 4B (TTS) 모델을 실행하기 위한 고성능 네이티브 Rust 구현을 제공합니다. 로컬 CLI 도구로서뿐만 아니라 WebGPU를 사용하여 웹 브라우저 내에서 직접 실시간 음성 인식 및 음성 합성 기능을 수행할 수 있습니다.

작동 원리

Burn 머신러닝 프레임워크와 커스텀 WGSL 컴퓨트 셰이더를 사용하여 모델 추론을 실행합니다. 이 프로젝트는 두 가지 주요 경로를 지원합니다. 고정밀 작업을 위한 네이티브 BF16 경로와 속도 및 메모리 효율성을 위해 최적화된 양자화 Q4 GGUF 경로입니다. 브라우저 구현은 WebAssembly (WASM)와 WebGPU를 사용하여 모델 로딩 및 추론을 처리하며, 모델 분할 로딩 및 비동기 텐서 처리와 같은 기술을 통해 브라우저 고유의 메모리 및 할당 제약을 극복합니다.

대상 사용자

클라우드 API에 의존하지 않고 실시간 음성 처리를 애플리케이션에 통합해야 하는 개발자와 연구자를 위한 것입니다. 개인정보 보호 중심의 도구나 오프라인 환경에서 작동하는 AI 도구를 구축하거나, 소비자용 하드웨어 또는 사용자의 브라우저에서 직접 실행해야 하는 경우 특히 유용합니다.

주요 특징

• WebGPU를 통해 브라우저 클라이언트 측에서 4B 파라미터 모델을 완전히 실행.
• Q4 GGUF 양자화를 사용하여 ASR 및 TTS 모두에서 실시간 성능 달성.
• 로컬 전사 및 음성 합성을 위한 완전한 CLI 포함.
• 최적화된 융합 역양자화 및 행렬 곱셈을 위한 커스텀 WGSL 셰이더 탑재.
• 9개 언어에 걸친 20개의 사전 설정 음성을 통한 음성 합성 지원.