TrevorS/voxtral-mini-realtime-rs

解決する課題

本プロジェクトは、MistralのVoxtral Mini 4B (ASR) および Voxtral 4B (TTS) モデルを実行するための高性能なネイティブRust実装を提供します。ローカルCLIツールとして、またWebGPUを使用してWebブラウザ上で直接、リアルタイムの音声認識および音声合成機能を実現します。

仕組み

Burn機械学習フレームワークとカスタムWGSLコンピュートシェーダーを使用してモデル推論を実行します。プロジェクトは2つの主要なパスをサポートしています。高精度タスク向けのネイティブBF16パスと、速度とメモリ効率を最適化した量子化Q4 GGUFパスです。ブラウザ実装ではWebAssembly (WASM) とWebGPUを使用してモデルの読み込みと推論を処理し、モデルの分割読み込みや非同期テンソル処理といった技術を通じて、ブラウザ特有のメモリおよび割り当ての制約を克服しています。

対象ユーザー

クラウドAPIに依存せずにリアルタイム音声処理をアプリケーションに統合する必要がある開発者や研究者向けです。プライバシー重視のツールや、コンシューマー向けハードウェア、あるいはユーザーのブラウザ上で直接動作するオフライン対応のAIツールを構築する際に特に有用です。

ハイライト

• WebGPUを介してブラウザのクライアントサイドで4Bパラメータモデルを完全に実行。
• Q4 GGUF量子化を使用してASRとTTSの両方でリアルタイム性能を実現。
• ローカルでの文字起こしと音声合成のための完全なCLIを同梱。
• 最適化された融合逆量子化および行列演算のためのカスタムWGSLシェーダーを搭載。
• 9言語にわたる20種類のプリセット音声による音声合成をサポート。