Speech: ASR, TTS 및 speech LLM 구축 및 배포를 위한 종합 프레임워크

해결하는 문제

NVIDIA NeMo Speech는 연구자와 개발자가 음성 및 오디오용 AI 모델을 생성, 맞춤 설정 및 배포할 수 있는 종합적인 프레임워크를 제공합니다. 사전 학습된 모델 체크포인트와 기존 코드를 제공하여 복잡한 음성 시스템 구축 프로세스를 단순화하고 처음부터 시작해야 하는 필요성을 줄여줍니다.

작동 방식

PyTorch를 기반으로 구축된 이 툴킷은 개발자가 다양한 음성 관련 AI 작업을 구현할 수 있도록 합니다. 이는 Automatic Speech Recognition (ASR), Text-to-Speech (TTS), 그리고 Speech Large Language Models (Speech LLMs)를 포함한 광범위한 모델을 지원합니다. 이 프레임워크는 유연하게 설계되어 사용자가 기존 Python/PyTorch/CUDA 스택 위에 설치하거나 NVIDIA H100 또는 A100 GPU와 같은 고성능 하드웨어용으로 최적화된 Docker 컨테이너를 사용할 수 있습니다.

대상 사용자

오디오, 음성 및 멀티모달 LLM을 전문으로 하는 AI 연구자와 PyTorch 개발자를 위해 설계되었습니다.

주요 특징

• 다양한 음성 기능: ASR, TTS 및 Speech LLMs를 지원하며, Nemotron VoiceChat을 통해 전이중(full-duplex), 자연스럽고 중단 가능한 대화를 지원합니다.
• 고성능: 제어 가능한 지연 시간으로 스트리밍 ASR을 수행하는 Fastconformer와 같은 특화된 아키텍처를 포함합니다.
• 다국어 지원: 여러 유럽 및 글로벌 언어를 지원하는 MagpieTTS 및 Parakeet/Canary와 같은 모델을 제공합니다.
• 하드웨어 최적화: Transformer Engine 및 FlashAttention과 같은 가속화된 백엔드를 지원하여 NVIDIA GPU에 특화되어 조정되었습니다.