NVIDIA Nemotron 3.5 Transcribe 및 Granary v2: 프롬프트하고 적응할 수 있는 지능형 다국어 전사

NVIDIA Nemotron 3.5 Transcribe는 오픈 가중치를 가진 프롬프트 가능한 모델로, 전사, 화자 속성(화자 분리), 번역, 오디오 질의 응답을 단일 체크포인트에 통합하여 다국어 음성 처리에서 상당한 발전을 제공합니다.

핵심 기능 및 성능 벤치마크

Nemotron 3.5 Transcribe는 여러 언어와 시나리오에서 복잡한 오디오 작업을 처리할 수 있는 통합 음성 모델입니다. 40개 언어의 전사, 31개 언어의 번역(영어로 또는 영어에서), 최대 13개 언어의 화자 속성을 지원하며, 최대 1시간 길이의 녹음을 처리하고 최대 8명의 화자를 라벨링할 수 있습니다.

리더보드 순위

이 모델은 여러 산업 벤치마크에서 최고 수준의 성능을 보여줍니다.

• Hugging Face Open ASR Leaderboard: Nemotron 3.5 Transcribe는 영어 전사에서 평균 단어 오류율(WER) 5.33%로 오픈 가중치 모델 중 1위를 차지합니다. 또한 다국어(평균 WER 4.62%) 및 장문(평균 WER 10.98%) 트랙에서 평가된 오픈 가중치 모델 중 가장 낮은 오류율을 기록합니다.
• Artificial Analysis Speech-to-Text Leaderboard: 약 40억 개의 활성 파라미터만으로 2.8%의 AA-WER을 달성하여 오픈 가중치 모델 중 공동 1위를 차지하며, 정확도 대 활성 파라미터 파레토 최적선에 위치합니다.
• David AI DAI-ASR-I18N Leaderboard: Transcribe는 전사 및 화자 속성 결합 트랙에서 평가된 오픈 가중치 모델 중 1위를 차지하고, 21개 언어에서 가장 낮은 화자 분리 오류율(18.26%)을 달성합니다.
• VoiceArena Diarization-Bench: 영어 전체 세션 벤치마크에서 14개 시스템 중 선두를 차지하며, 대면 및 온라인 환경 모두에서 가장 낮은 연결 최소 순열 WER(cpWER) 32.4%를 기록합니다.

다양한 출력을 위한 자연어 프롬프팅

Nemotron 3.5 Transcribe는 개발자가 자연어 지침을 사용하여 모델의 출력을 안내할 수 있게 하여, 단일 체크포인트로 여러 애플리케이션 요구를 충족할 수 있습니다.

작업별 지침

프롬프트에 따라 동일한 녹음이 다른 결과를 얻기 위해 처리될 수 있습니다.

• 전사 및 화자 분리: "이 녹음을 전사하고 각 화자를 라벨링하세요"와 같은 프롬프트는 완전히 속성이 부여된 전사본을 생성합니다.
• 번역: "이 오디오를 영어로 번역하세요"와 같은 프롬프트는 번역을 수행합니다.
• 오디오 질의 응답(QA): "이 회의에서 어떤 결정이 내려졌나요?"와 같은 프롬프트는 모델이 오디오 콘텐츠에서 특정 정보를 추출할 수 있게 합니다.

상황별 바이어스

전문 도메인의 경우 개발자는 가능한 용어 목록을 제공하여 훈련 전에 컨텍스트를 사용할 수 있습니다. 예를 들어, 의료 환경에서 프롬프트는 다음과 같을 수 있습니다: "이 의료 토론을 원래 언어로 전사하세요. 가능한 용어: HbA1c, metformin. 오디오에서 지원되는 경우에만 이러한 용어를 사용하세요. 표준 의학 철자를 유지하고 숫자는 일반적인 표기 형식으로 작성하세요."