bab2min/kiwipiepy

解决的问题

Kiwipiepy 是一个韩语形态分析器，能将文本拆解为组成语素（最小意义单位）并进行词性 (POS) 标注。它解决了处理韩语复杂黏着语特性的挑战，并提供处理错别字、方言及自定义词汇的工具。

运作方式

它为 Kiwi 形态分析器提供了 Python API。该系统采用基于字典的方法，支持用户定义的词汇与规则。它包含处理韩语特定语言特征（如“saisiot”插入音 's'）以及多种错别字修正模式（基础、连续、延长）的专门逻辑。它也支持使用基于规则或轻量级字符模型进行 OOV（词汇外）检测。

适用对象

从事韩语自然语言处理 (NLP) 的开发者与数据科学家，包括正在构建搜索引擎、聊天机器人或需要精确分词与词性标注的文本分析工具的开发者。

特色亮点

• 高级错别字修正：支持多种模式以修正基础错别字、组合辅音/元音（连续），以及用于强调的延长元音（延长）。
• 可自定义字典：允许新增用户词汇，包括具备自动变位处理的动词与形容词，并支持包含空格的词汇。
• 方言支持：包含针对各种韩语方言（如济州、庆尚、全罗）及古韩语的基础分析能力。
• 灵活的分词：提供处理“saisiot”的选项，以及兼容的 Jamo 输出，以提升与其他系统的兼容性。
• OOV 检测：使用基于字符的模型，防止未知词汇被错误拆解为无意义的片段。