bab2min/Kiwi

解決的問題

Kiwi 是一款高效率的韓語詞形分析器，旨在將韓語文字分解為其組成的詞素（意義的最小單位）。它特別針對韓語中不同詞素組合可能產生相同書寫形式所帶來的語意歧義問題，並提供自動處理常見拼字錯誤的方法。

工作原理

基於 C++ 核心以實現速度，Kiwi 結合局部語境的統計語言模型與全域語境的 Skip-Bigram 模型，以解決歧義。訓練資料來自 Sejong 與 Modu 語料庫，並遵循 Sejong 的詞性（POS）標記集。為確保可及性，核心函式庫已包裝為多種語言版本，包括 Python、Java、C#、Go、Rust 與 WebAssembly。

適用對象

適合從事自然語言處理（NLP）、文字探勘與數位人文研究的開發者與研究人員，需要一款快速、精確且易於整合的韓語文字分析工具。

主要特色

• 高速性能：針對快速文字分析進行優化，並支援多執行緒處理大型資料集。
• 歧義消解：使用輕量級語言模型，準確區分外觀相似的詞素組合。
• 拼字錯誤修正：內建功能可在分析過程中自動修正簡單的拼字錯誤。
• 廣泛整合：提供多種程式語言的封裝，並提供非程式設計者的獨立 GUI。