microsoft/VibeVoice

해결하는 문제

VibeVoice는 화자의 일관성과 의미적 결합력을 유지하면서 장문 오디오를 처리하고 생성하는 문제를 해결합니다. 고충실도 음성 인식(ASR)과 텍스트 음성 변환(TTS)을 위한 통합 프레임워크를 제공하여, 오디오를 짧고 단절된 조각으로 나눌 필요 없이 긴 오디오 시퀀스를 처리할 수 있습니다.

작동 원리

이 시스템은 7.5 Hz의 초저 프레임 속도로 작동하는 연속 음성 토크나이저(음향 및 의미론적)를 사용하여 오디오 충실도를 효율적으로 보존합니다. 차세대 토큰 확산 프레임워크를 채택하여 대규모 언어 모델(LLM)을 결합해 텍스트 문맥과 대화 흐름을 처리하고, 확산 헤드를 통해 고충실도 음향 세부 정보를 생성합니다.

대상 사용자

음성 AI를 연구하는 연구원 및 개발자, 특히 장문 대화 오디오, 팟캐스트 또는 다중 화자 대화를 처리해야 하는 사용자를 위해 설계되었습니다.

주요 특징

• 장문 ASR: 최대 60분의 연속 오디오를 한 번의 패스로 처리하며, 화자 식별, 타임스탬프, 내용이 포함된 구조화된 전사를 제공합니다.
• 사용자 지정 핫워드: 특정 이름이나 기술 용어를 제공하여 도메인별 콘텐츠의 인식 정확도를 향상시킬 수 있습니다.
• Streaming ASR: 오디오가 들어오는 즉시 실시간으로 전사하는 변형 모델입니다.
• 장문 TTS: 단일 대화에서 최대 4명의 서로 다른 화자를 포함하여 최대 90분의 음성을 합성할 수 있습니다.
• 실시간 TTS: 저지연 스트리밍 텍스트 음성 변환 생성을 위해 설계된 경량 0.5B 파라미터 모델입니다.
• 엣지 배포: GPU 없이 CPU에서 실시간 추론이 가능한 ASR 모델의 BitNet 버전을 포함합니다.