QwenAudio/Fun-ASR

何を解決するか

Fun-ASRは、現実世界の困難な環境に特化した高精度のエンドツーエンド音声認識（ASR）を提供します。特に、強い背景ノイズがある音声の字幕化、遠方からの音声収録（会議室や車内など）の困難さ、そしてさまざまな中国語方言や地域訛りの複雑さに対処します。

動作方法

このプロジェクトは、8億パラメータのモデル（Fun-ASR-Nano および Fun-ASR-MLT-Nano）のファミリーを提供し、以下の複数の方法で展開可能です：

• ネイティブ Transformers： transformers ライブラリとの統合により、標準的なPythonベースの推論が可能。
• 高スループット推論： vLLMエンジンとの統合により、大規模バッチ処理およびWebSocketを介したリアルタイムストリーミングが可能。
• エッジデプロイ： llama.cpp と GGUF 形式を介した自己完結型バイナリにより、PythonランタイムなしでCPUのみでの推論が可能。
• パイプライン構成： fsmn-vad（音声活動検出）や cam++（話者ダイアライゼーション：誰が話しているかを識別）といった他のモデルと組み合わせて、長時間音声のセグメンテーションや話者識別が可能。

対象ユーザー

ノイズの多い環境での高精度音声認識を必要とする開発者やエンジニア。アジア語や方言の幅広いサポート、または高級GPUからエッジCPUまで多様なハードウェアへのデプロイが可能なアプリケーションの構築に適しています。

特徴

• 広範な言語サポート： 中国語（7つの主要方言と26の地域訛りを含む）、英語、日本語、および31言語をカバーするマルチリンガルチェックポイントをサポート。
• ノイズ耐性： 遠方音声および高ノイズ環境に最適化され、最大93％の認識精度を達成。
• 専門的認識： 音楽背景やラップ音声における歌詞の認識機能を備える。
• 極限のパフォーマンス： vLLM統合により、ネイティブPyTorchよりも最大16倍高速な推論が可能。
• 柔軟なデプロイ： プロダクション用WebSocketサービスからスタンドアロンのGGUFバイナリまで、あらゆる展開形態に対応。