kakao/khaiii

解决的问题

khaiii 是一个韩语形态分析器，旨在将单词拆分为最小的有意义单位（词素）。这是自然语言处理（NLP）任务中的一项基础预处理步骤，例如韩语的句法和语义分析。

工作原理

与以往依赖词典和规则的版本不同，khaiii 采用基于机器学习的数据驱动方法。为了优先考虑处理速度，形态分析作为关键预处理步骤，使用卷积神经网络（CNN）而非循环神经网络（RNN/LSTM）。

为应对错误和神经网络的“黑箱”特性，该项目提供了两种用户词典机制：

• 预分析词典：适用于无论上下文如何都始终具有相同分析结果的词汇（例如特定术语）。
• 误分析修复：用于修正多个词汇在不同上下文中出现的特定错误分析。

适用人群

需要快速、基于机器学习的形态分析器进行文本预处理的韩语自然语言处理（NLP）开发者和研究人员。

主要亮点

• 基于 CNN 的架构：在速度上优于基于 RNN 的替代方案。
• 数据驱动：在 21 世纪世宗项目语料库的优化版本上训练（约 85 万句）。
• 可自定义：通过预分析词典和修复机制，可覆盖神经网络结果。
• 多种模型尺寸：提供 "base" 和 "large" 模型，以在准确率（F 分数）和处理速度之间取得平衡。