Granite Speech 5.0 릴리스: 향상된 전사, 번역 및 화자 속성
Granite Speech 5.0 컬렉션은 IBM의 음성 모델에 대한 세 가지 주요 업데이트를 제공하며, 기업 음성 요구의 전체 스펙트럼을 다룹니다: 고정확도 다국어 전사 및 번역, 매우 빠른 온디바이스 전사, 그리고 상세한 다중 화자 녹음 분석.
Granite Speech 5.0 2B: 고정확도 및 다국어 제어
granite-speech-5.0-2b 모델은 granite-speech-4.1-2b의 후속 모델로, 고정확도 다국어 전사 및 번역을 위해 설계되었습니다. 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 일본어의 전사를 지원하며, 해당 언어에서 영어로의 번역 및 영어에서 해당 언어로의 번역, 그리고 영어에서 이탈리아어와 중국어(만다린)로의 번역을 지원합니다.
이 모델은 390,000시간의 공개 오디오로 훈련되었으며, 일본어 ASR, 키워드 바이어싱 및 번역을 위해 특별히 설계된 합성 데이터로 보강되었습니다.
이전 버전 대비 주요 개선 사항은 다음과 같습니다:
- 향상된 견고성: 이 모델은 영어 단문 벤치마크에서 더 높은 정확도를 보이며, 노이즈, 잔향 및 원거리 마이크 음성을 더 효과적으로 처리합니다.
- 다국어 제어: 사용자는 언어 ID 프롬프트를 사용하여 입력 언어를 명시적으로 지정함으로써 다국어 전사 프로세스를 제어할 수 있습니다.
- 고급 번역: 장문 및 대화형 음성에 대한 번역 품질이 향상되어 단순한 짧은 문장 번역을 넘어섭니다.
- 키워드 바이어싱: 이 모델은 최대 2,000개 용어의 키워드 목록을 지원하여, 지원되는 모든 언어에서 특정 제품 이름, 사람 또는 약어에 맞게 전사 및 번역을 바이어싱할 수 있습니다.
- 형식화된 출력: 구두점 및 대문자 사용은 프롬프트를 통해 요청할 수 있으며, 테스트 세트에서 대문자 사용 F1 범위는 89.7에서 99.5입니다.
비공식적으로, granite-speech-5.0-2b는 평균 영어 WER에서 상위 오픈 가중치 ASR 모델 중 2위를 차지하며, Open ASR Leaderboard의 공개 영어 단문 테스트 세트에서 5.06%의 점수를 달성했습니다.
Granite Speech 5.0 Turbo CTC: 속도 및 엣지 배포
granite-speech-5.0-470m-turboctc 모델은 작은 470M 매개변수 크기를 유지하면서 고처리량 및 온디바이스 전사 기능을 크게 향상시킵니다.
이 개정판은 주요 사용자 요청을 해결하기 위해 세 가지 주요 기능을 추가합니다:
- 다국어 지원: 이제 모델은 영어, 일본어, 스페인어, 독일어, 프랑스어, 이탈리아어 및 포르투갈어 전사를 지원합니다.
- 기본 형식화: 전사는 기본 구두점 및 대문자 사용으로 생성되어 별도의 후처리 단계가 필요 없습니다.
- 음향 견고성: 훈련은 명시적으로 잔향 오디오를 대상으로 하여, 메아리치는 방이나 원거리 소스의 녹음을 처리할 때 Turbo CTC를 더 견고하게 만듭니다.
성능 측면에서 모델은 더 빨라져 Open ASR Leaderboard에서 19,870 RTFx를 달성하며, 초기 출시 성능인 12,600 RTFx 대비 약 1.6배 개선되었으며 동일한 정확도 수준을 유지합니다.
Granite Speech 4.1 2B Plus: 다중 화자 및 장문 분석
업데이트된 granite-speech-4.1-2b-plus는 회의, 지원 통화 및 여러 화자가 포함된 장시간 인터뷰와 같은 복잡한 기업 녹음에 특별히 맞춰져 있습니다. 이 모델은 현재 버전의 드롭인 교체 모델로, 원래 아키텍처, 프롬프트 형식 및 API를 유지하면서 개선된 가중치를 활용합니다.
이 개정판은 네 가지 중요한 영역에서 상당한 성능 향상을 제공합니다:
- 화자 속성: 모델은 누가 말하고 있는지 라벨링하는 정확도를 향상시킵니다. 단어 화자 분리 오류율(WDER)은 7% 감소하고, 화자 속성 WER(cpWER)은 전체적으로 7% 감소합니다.
- 타임스탬프: 평균 타임스탬프 이동(AAS)은 절반 이상 감소하여 캡션, 검색 및 검토에 대한 타이밍이 더 정밀해집니다. 짧은 음성의 경우 AAS는 29.27에서 26.20으로 감소했고, 모든 음성의 경우 210.86에서 98.54로 감소했습니다.
- 장문 음성 성능: 장문 테스트 세트의 WER은 24% 감소하여 13.53에서 10.22로 개선되었습니다.
- 키워드 바이어싱: 20개 용어 키워드 목록을 사용할 때 바이어싱된 키워드 관련 오류는 45% 감소하여 11.79에서 6.48로 개선되었습니다.
모델 선택 및 배포
모델 선택은 주요 사용 사례에 따라 달라집니다:
- 높은 전사 정확도, 번역 또는 키워드 바이어싱이 필요한 경우:
granite-speech-5.0-2b를 사용하십시오. - 원시 속도 또는 온디바이스 전사가 필요한 경우:
granite-speech-5.0-470m-turboctc를 사용하십시오. - 회의 또는 다중 화자 통화의 경우:
granite-speech-4.1-2b-plus를 사용하십시오.
모든 모델은 Apache 2.0 라이선스로 출시되며 Transformers, vLLM, llama.cpp 및 Apple Silicon용 mlx-audio를 포함한 프레임워크에서 기본 지원을 제공합니다. 추가 위험 감지가 필요한 프로덕션 배포의 경우 이러한 모델을 Granite Guardian과 함께 사용할 수 있습니다.