wenet-e2e/WeTextProcessing

해결하는 문제

WeTextProcessing은 텍스트 정규화(TN) 및 역 텍스트 정규화(ITN)를 위한 프로덕션 대응 툴킷을 제공합니다. 예를 들어 "2.5"를 "two point five"로 변환하는 것과 같은 서면 텍스트를 발음 형태로 변환하고, 그 반대도 가능하며, 이는 음성 인식 및 음성 합성 시스템에 필수적입니다.

작동 방식

이 툴킷은 유한 상태 변환기(FST)를 사용하여 텍스트를 처리합니다. 중국어와 영어를 포함한 다수의 언어를 지원하며, 사용자가 특정 언어적 패턴을 처리하기 위해 사용자 정의 규칙을 정의할 수 있습니다. 성능 최적화를 위해 FST 그래프는 자동으로 캐시되지만, 규칙이 변경된 경우 수동으로 재빌드할 수 있습니다.

대상 사용자

ASR(자동 음성 인식) 및 TTS(텍스트 음성 변환) 파이프라인과 같은 음성 관련 AI 애플리케이션을 개발하는 개발자들을 위한 것입니다. 프로덕션 환경에서 신뢰성 있고 확장 가능한 텍스트 처리가 필요한 사용자에게 적합합니다.

주요 특징

• 양방향 처리: 텍스트 정규화(TN) 및 역 텍스트 정규화(ITN)를 모두 지원합니다.
• 다국어 지원: 중국어 및 영어에 대한 내장된 파이프라인을 포함합니다.
• FST 기반 아키텍처: 효율적인 규칙 기반 변환을 위해 OpenFst 및 Pynini를 사용합니다.
• 프로덕션 준비 완료: 배포를 위한 C++ 런타임과 처리 그래프의 자동 캐싱 기능을 제공합니다.
• 세부 매핑: 입력 텍스트와 출력 텍스트 간의 변경된 구간과 토큰 유형을 추출할 수 있습니다.