bab2min/kiwipiepy

解決的問題

Kiwipiepy 是一個韓語形態分析器，將韓語文字分解為最小的有意義單位（形態素），並為其分配詞性（POS）標籤。它解決了韓語的複雜性，包括處理拼字錯誤、方言，以及需要自訂使用者詞典以確保專業術語的準確分析。

工作原理

它提供 Kiwi 形態分析器的 Python API。系統允許使用者對文字進行分詞、將文字拆分為句子，並從形態素重構句子。它提供一組強大的工具來優化分析，例如 Stopwords 類別用於過濾，支援新增使用者自訂詞彙或正規表示式規則以處理變體，以及一個預分析校正工具，用於修復特定的錯誤分析。

適用對象

需要可靠且可自訂的分詞與詞性標記工具的韓語自然語言處理（NLP）開發者與資料科學家。

主要特色

• 高階拼字錯誤修正：支援多層級拼字錯誤修正，包括基本拼字錯誤、連續（連結）拼字錯誤與長度錯誤。
• 可自訂詞典：支援新增使用者詞彙（包含含空格的詞彙），並自動處理新增動詞與形容詞的詞形變化。
• 方言支援：包含多種韓語方言（如濟州、慶尚、全羅）及古韓語的基本分析功能。
• 彈性分詞：提供處理「사이시옷」（間歇性 's'）、規範收尾子音、使用規則或輕量字元模型方法檢測未登錄詞（OOV）的選項。
• 多語言支援：強化對外來字元、表情符號與 Unicode 字元集的處理能力。