QwenAudio/SenseVoice

何を解決するか

SenseVoiceは、複数の音声理解タスクを同時に処理できる音声基盤モデルです。複数言語における高精度・低遅延音声認識のニーズに応えつつ、標準的なASRシステムでは失われがちな感情や環境音などの非言語的サインも捉えます。

動作方法

SenseVoiceは非自己回帰型のエンドツーエンドフレームワークを使用し、低遅延推論を実現しています。リリースされた SenseVoiceSmall チェックポイントは、自動音声認識（ASR）、話者言語識別（LID）、音声感情認識（SER）、音声イベント検出（AED）をサポートしています。FastAPIを介してPythonベースのサービスとしてデプロイ可能で、ONNXやLibtorchにエクスポートして最適化されたパフォーマンスを得ることもできます。また、llama.cpp/GGUFを使用してCPU/エッジデバイス上で自己完結型バイナリとして実行することも可能です。

対象ユーザー

中国語（普通話・広東語）、英語、日本語、韓国語をサポートするマルチリンガル機能を必要とする音声アプリケーションを開発・研究している開発者や研究者。リアルタイムで感情状態や特定の音声イベント（笑い、咳など）を検出する必要がある方々に最適です。

特徴

• マルチタスク対応：1つのモデルでASR、言語識別、感情認識、音声イベント検出を実行可能。
• 高効率性：非自己回帰アーキテクチャにより、Whisper-SmallやWhisper-Largeよりも大幅に高速に動作します。
• 豊富なトランスクリプション：拍手、泣き声、くしゃみなど一般的な人間-コンピュータインタラクションイベントや感情のトーンを検出可能。
• 柔軟なデプロイ：GPU、CPU、エッジデバイスでのGGUFによるデプロイをサポート。バイナリ版ではPythonランタイムが不要です。
• ファインチューニング対応：特定のビジネスシナリオや長尾サンプルに適応するためのスクリプトと戦略を提供しています。