kakao/khaiii

何を解決するか

khaiii は、単語を最小の意味単位（語素）に分割するための韓国語語素解析器です。これは、韓国語の構文解析や意味解析などの自然言語処理（NLP）タスクにおける基本的な前処理ステップです。

動作方法

従来の辞書とルールに依存していたものとは異なり、khaiii は機械学習に基づくデータ駆動型アプローチを採用しています。語素解析は重要な前処理ステップであるため、処理速度を最優先するために、再帰型ニューラルネットワーク（RNN/LSTM）ではなく、畳み込みニューラルネットワーク（CNN）を使用しています。

ニューラルネットワークの「ブラックボックス」性やエラーを扱うために、以下の2つのユーザー辞書メカニズムを提供しています：

• 事前解析辞書：文脈に関係なく常に同じ解析結果を持つ語（例：特定の用語）に使用。
• 誤解析修正：複数の語において文脈付きで特定の誤解析を修正するための機能。

対象ユーザー

韓国語自然言語処理（NLP）に取り組む開発者や研究者で、高速かつ機械学習ベースの語素解析器をテキスト前処理に必要とする人。

特徴

• CNNベースのアーキテクチャ：RNNベースの代替品よりも速度を最適化。
• データ駆動型：21世紀セジョンプロジェクトコーパスの洗練版（約85万文）で訓練済み。
• カスタマイズ可能：事前解析辞書と修正パッチにより、ニューラルネットワークの結果を上書き可能。
• 複数のモデルサイズ：精度（Fスコア）と処理速度のバランスを取るために「base」と「large」モデルを提供。