bab2min/kiwipiepy

解决的问题

Kiwipiepy 是一个韩语形态分析器，将韩语文本分解为其最小的有意义单位（形态素），并为其分配词性（POS）标签。它解决了韩语的复杂性问题，包括处理拼写错误、方言，以及需要自定义用户词典以确保专业术语的准确分析。

工作原理

它提供了 Kiwi 形态分析器的 Python API。该系统允许用户对文本进行分词、将文本拆分为句子，并从形态素重建句子。它提供了一套强大的工具来优化分析，例如 Stopwords 类用于过滤，支持添加用户自定义词汇或正则表达式规则以处理变体，以及一个预分析校正工具，用于修复特定的错误分析。

适用人群

需要可靠且可定制的分词和词性标注工具的韩语自然语言处理（NLP）开发者和数据科学家。

主要特性

• 高级拼写错误纠正：支持多级拼写错误纠正，包括基本拼写错误、连续（连接）拼写错误和长度错误。
• 可自定义词典：支持添加用户词汇（包括含空格的词汇），并自动处理添加的动词和形容词的词形变化。
• 方言支持：支持多种韩语方言（如济州、庆尚、全罗）及古韩语的基本分析功能。
• 灵活的分词：提供处理「사이시옷」（间歇性 's'）、规范尾音、使用规则或轻量字符模型方法检测未登录词（OOV）的选项。
• 多语言支持：增强对外来字符、表情符号和 Unicode 字符集的处理能力。