TrevorS/voxtral-mini-realtime-rs

解决的问题

本项目提供了一个高性能的原生 Rust 实现，用于运行 Mistral 的 Voxtral Mini 4B (ASR) 和 Voxtral 4B (TTS) 模型。它支持作为本地 CLI 工具以及直接在 Web 浏览器中使用 WebGPU 进行实时语音转文字和文字转语音处理。

工作原理

它使用 Burn 机器学习框架和自定义 WGSL 计算着色器来执行模型推理。项目支持两条主要路径：用于高精度任务的原生 BF16 路径，以及针对速度和内存效率优化的量化 Q4 GGUF 路径。浏览器实现使用 WebAssembly (WASM) 和 WebGPU 来处理模型加载和推理，通过分片模型加载和异步张量处理等技术克服了浏览器特定的内存和分配限制。

适用人群

本项目适用于需要将实时语音处理集成到应用程序中，且不依赖云端 API 的开发者和研究人员。对于构建注重隐私或支持离线功能的 AI 工具，且需要在消费级硬件或用户浏览器中直接运行的用户尤为有用。

亮点

• 通过 WebGPU 在浏览器客户端完全运行 4B 参数模型。
• 使用 Q4 GGUF 量化实现 ASR 和 TTS 的实时性能。
• 包含用于本地转录和语音合成的完整 CLI。
• 具有用于优化融合反量化和矩阵乘法的自定义 WGSL 着色器。
• 支持 9 种语言的 20 种预设语音进行文字转语音。