Speech: 建立與部署 ASR、TTS 及 speech LLMs 的全面框架

它解決了什麼問題

NVIDIA NeMo Speech 提供了一個全面的框架，讓研究人員和開發人員能夠建立、自定義並部署用於語音和音訊的 AI 模型。它透過提供預訓練模型檢查點（checkpoints）和現有程式碼，簡化了建立複雜語音系統的過程，減少了從零開始的需求。

運作方式

該工具包基於 PyTorch 構建，允許開發人員實作各種語音相關的 AI 任務。它支援廣泛的模型，包括自動語音辨識 (ASR)、文字轉語音 (TTS) 以及語音大型語言模型 (Speech LLMs)。此框架設計靈活，允許使用者在現有的 Python/PyTorch/CUDA 技術棧上安裝，或使用針對 NVIDIA H100 或 A100 GPU 等高效能硬體優化的 Docker 容器。

對象是誰

它是為專精於音訊、語音和多模態 LLMs 的 AI 研究人員和 PyTorch 開發人員而設計的。

重點特色

• 多樣化的語音能力：支援 ASR、TTS 和 Speech LLMs，包括透過 Nemotron VoiceChat 進行全雙工、自然且可中斷的對話。
• 高效能：包含專門的架構，例如用於具備可控延遲之串流 ASR 的 Fastconformer。
• 多語言支援：提供如 MagpieTTS 和 Parakeet/Canary 等支援多種歐洲和全球語言的模型。
• 硬體優化：專為 NVIDIA GPU 進行了微調，並支援 Transformer Engine 和 FlashAttention 等加速後端。