NVIDIA-NeMo/Speech

A scalable generative AI framework built for researchers and developers working on Large Language Models, Multimodal, and Speech AI (Automatic Speech Recognition and Text-to-Speech)

解決する課題

NVIDIA NeMo Speechは、研究者や開発者が高度な音声AIモデルを作成、カスタマイズ、デプロイするための包括的なツールキットを提供します。学習済みモデルのチェックポイントと標準化された開発フレームワークを提供することで、複雑なオーディオシステムの構築プロセスを簡素化し、音声アーキテクチャを一から構築する必要性を軽減します。

仕組み

PyTorch上に構築されたこのツールキットにより、ユーザーは既存のコードと学習済みウェイトを活用して、主に以下の3つの領域でモデルを開発できます：

  • Automatic Speech Recognition (ASR): 音声オーディオをテキストに変換。リアルタイムアプリケーション向けのストリーミング機能を含む。
  • Text to Speech (TTS): テキストから自然な音声の生成。多言語サポートを含む。
  • Speech LLMs: 自然で、割り込み可能、かつ低遅延な音声会話を実現するために、音声機能を大規模言語モデルに統合。

対象者

高精度なオフライン文字起こしからリアルタイムのストリーミング音声アシスタントまで、音声中心のAIアプリケーションを構築するAI研究者およびPyTorch開発者向けに設計されています。

ハイライト

  • 多様なモデルコレクション: ストリーミング用のNemotron-3.5-ASR、統合されたオフライン/ストリーミング推論用のParakeet、多言語音声生成用のMagpieTTSなどの特化型モデルを含む。
  • ハードウェアの最適化: NVIDIA GPUおよびCUDAと深く統合されており、高性能な推論とトレーニングのためにオプションの加速バックエンド（Transformer EngineやFlashAttentionなど）を提供。
  • 柔軟なデプロイ: 即時利用可能なDockerコンテナや、既存のPyTorch環境を維持する柔軟なpipインストールを含む、さまざまなインストールパスをサポート。
  • 多言語サポート: ASRおよびTTSタスクにおいて、数十の言語を処理できるモデルを提供。