kakao/khaiii

解決的問題

khaiii 是一個韓語詞彙分析器，旨在將單字拆分成最小的有意義單位（詞素）。這是自然語言處理（NLP）任務中的基本預處理步驟，例如韓語的句法與語意分析。

工作原理

與以往依賴詞典與規則的版本不同，khaiii 採用基於機器學習的資料驅動方法。由於詞彙分析是關鍵的預處理步驟，為優先考慮處理速度，使用卷積神經網絡（CNN）而非循環神經網絡（RNN/LSTM）。

為應對錯誤與神經網絡的「黑箱」特性，專案提供兩種使用者詞典機制：

• 預分析詞典：適用於無論上下文如何都始終具有相同分析結果的詞彙（例如特定專有名詞）。
• 誤分析修復：用於修正多個詞彙在不同上下文中出現的特定錯誤分析。

適用對象

需要快速、基於機器學習的詞彙分析器進行文本預處理的韓語自然語言處理（NLP）開發者與研究人員。

主要亮點

• 基於 CNN 的架構：在速度上優於基於 RNN 的替代方案。
• 資料驅動：在 21 世紀世宗計畫語料庫的優化版本上訓練（約 85 萬句）。
• 可自訂：透過預分析詞典與修復機制，可覆蓋神經網絡結果。
• 多種模型大小：提供 "base" 與 "large" 模型，以在準確率（F 分數）與處理速度之間取得平衡。