bab2min/kiwipiepy

解決する課題

Kiwipiepyは、テキストを構成する形態素（意味を持つ最小単位）に分解し、品詞 (POS) タグを割り当てる韓国語形態素解析器です。韓国語の複雑な膠着語的性質を処理する課題に対処し、誤字脱字、方言、カスタム語彙を扱うためのツールを提供します。

仕組み

Kiwi形態素解析器のためのPython APIを提供します。このシステムは、ユーザー定義の単語やルールをサポートする辞書ベースのアプローチを採用しています。韓国語特有の言語的特徴である「saisiot」（挿入音 's'）を処理するロジックや、さまざまな誤字修正モード（基本、連続、延長）が含まれています。また、ルールベースまたは軽量な文字ベースモデルを使用したOOV（未知語）検出もサポートしています。

対象ユーザー

韓国語テキストの自然言語処理 (NLP) に取り組む開発者やデータサイエンティスト。検索エンジン、チャットボット、または正確なトークン化と品詞タグ付けを必要とするテキスト分析ツールを構築している方に最適です。

主な特徴

• 高度な誤字修正: 基本的な誤字、結合子音/母音（連続）、強調のための長母音（延長）を修正する複数のモードをサポートしています。
• カスタマイズ可能な辞書: 自動活用処理を備えた動詞や形容詞を含むユーザー単語の追加が可能で、スペースを含む単語もサポートしています。
• 方言サポート: さまざまな韓国語の方言（例：済州、慶尚、全羅）や古語に対する基本的な解析機能を備えています。
• 柔軟なトークン化: 「saisiot」を処理するオプションや、他のシステムとの互換性を高めるためのJamo出力オプションを提供します。
• OOV検出: 文字ベースのモデルを使用して、未知の単語が無意味な断片に誤って分割されるのを防ぎます。