QwenAudio/SenseVoice

解決する問題

SenseVoice は、高精度な多言語音声認識と理解を提供するために設計された音声基盤モデルです。自動音声認識（ASR）、音声言語識別（LID）、音声感情認識（SER）、およびオーディオイベント検出（AED）を同時に処理できる単一モデルのニーズに対応します。

仕組み

SenseVoice は、非自己回帰のエンドツーエンドフレームワークを使用しており、低遅延推論を可能にします。リリースされた SenseVoiceSmall チェックポイントは、北京語、広東語、英語、日本語、韓国語をサポートしています。FunASR を介して Python パッケージとしてデプロイしたり、ONNX または Libtorch にエクスポートしたり、llama.cpp/GGUF を使用して CPU/エッジ環境向けの自己完結型バイナリとして実行したりできます。長いオーディオファイルの場合、メモリオーバーフローを防ぐために、境界メモリウィンドウアプローチまたは VAD（音声活動検出）パイプラインを採用しています。

対象者

このプロジェクトは、感情的なコンテキストと環境オーディオイベントもキャプチャする効率的な多言語音声テキスト変換システムを必要とする開発者と研究者向けです。特に中国語と広東語を扱う人々に適しています。

ハイライト

• マルチタスク機能：単一モデルで ASR、言語識別、感情認識、およびオーディオイベント検出（例：笑い声、咳、拍手）を実行します。
• 高効率：非自己回帰アーキテクチャにより、同様のパラメータ数で Whisper-Small や Whisper-Large よりも大幅に高速です。
• リッチな文字起こし：音声感情認識において多くの既存モデルを上回り、サウンドイベントタグを提供します。
• 柔軟なデプロイ：FastAPI、Docker、および Python 不要環境向けの C++ バイナリなど、さまざまなランタイムをサポートします。