Speech: ASR、TTS、および音声 LLM を構築・デプロイするための包括的なフレームワーク

何を解決するか

NVIDIA NeMo Speech は、研究者や開発者が音声およびオーディオ用の AI モデルを作成、カスタマイズ、およびデプロイするための包括的なフレームワークを提供します。事前学習済みモデルのチェックポイントと既存のコードを提供することで、複雑な音声システムの構築プロセスを簡法化し、ゼロから開始する必要性を軽減します。

仕組み

PyTorch 上に構築されたこのツールキットは、開発者がさまざまな音声関連の AI タスクを実装することを可能にします。Automatic Speech Recognition (ASR)、Text-to-Speech (TTS)、および Speech Large Language Models (Speech LLMs) を含む幅広いモデルをサポートしています。このフレームワークは柔軟に設計されており、ユーザーは既存の Python/PyTorch/CUDA スタック上にインストールするか、NVIDIA H100 または A100 GPU のような高性能ハードウェア向けに最適化された Docker コンテナを使用することができます。

対象者

オーディオ、音声、およびマルチモーダル LLM を専門とする AI 研究者および PyTorch 開発者向けに設計されています。

ハイライト

• 多様な音声機能: ASR、TTS、および Nemotron VoiceChat を介したフルデュプレックス、自然、かつ中断可能な会話を含む Speech LLMs をサポートします。
• 高性能: 遅延を制御可能なストリーミング ASR 用の Fastconformer のような特化型アーキテクチャを含んでいます。
• 多言語サポート: 複数の欧州言語およびグローバル言語をサポートする MagpieTTS や Parakeet/Canary のようなモデルを提供します。
• ハードウェア最適化: Transformer Engine や FlashAttention のような加速バックエンドをサポートし、NVIDIA GPU に特化してチューニングされています。