wenet-e2e/WeTextProcessing

解決的問題

WeTextProcessing 提供一個生產就緒的文本正規化（TN）與逆文本正規化（ITN）工具包。它能處理書面文字轉為口語形式（例如將「2.5」轉換為「two point five」）以及反向轉換，這對語音轉文字與文字轉語音系統至關重要。

工作原理

該工具包使用有限狀態轉換器（FST）來處理文字。支援多種語言，包括中文與英文，並允許使用者定義自訂規則以處理特定語言模式。為優化效能，FST 圖形會自動快取，但若規則變更，亦可手動重建。

適用對象

本工具專為開發語音相關 AI 應用的開發者設計，例如 ASR（自動語音辨識）與 TTS（文字轉語音）流程，需要在生產環境中具備可靠、可擴展的文本處理能力。

主要特色

• 雙向處理：支援文本正規化（TN）與逆文本正規化（ITN）。
• 多語言支援：內建中文與英文的處理流程。
• 基於 FST 的架構：使用 OpenFst 與 Pynini 實現高效能的規則式轉換。
• 生產就緒：提供 C++ 執行時用於部署，並支援處理圖形的自動快取。
• 詳細映射：可取得輸入與輸出文字之間變更的區段與標記類型。