ikawaha/kagome

Self-contained Japanese Morphological Analyzer written in pure Go

解决的问题

Kagome 是一个日本语形态分析器,允许开发者将日语文本分词为单词并分析其词性。它通过提供纯 Go 实现并直接将词典嵌入二进制文件,消除了日本语分词常见的部署障碍。

工作原理

它使用支持的词典(如 MeCab-IPADIC 和 UniDic)处理文本,执行形态分析。提供三种分词模式——普通模式、搜索模式(针对搜索启发式优化)和扩展模式(包含未知词的一元语法),以应对不同的分词策略。该工具可作为 CLI、Go 库、RESTful API 服务器使用,或编译为 WebAssembly 以在浏览器中执行。

适用人群

需要处理日语文本的应用开发者、搜索引擎、语音合成系统开发者,以及偏好使用自包含 Go 工具而非复杂 C 依赖项的用户。

特色亮点

  • 自包含: 词典嵌入二进制文件,便于部署。
  • 多模式支持: 支持普通、搜索和扩展分词策略。
  • 跨平台: 提供 Go 库、C 共享库(通过 FFI 供 Python/PHP 使用)、WebAssembly 和 Docker 镜像。
  • 集成工具: 包含 RESTful API 服务器、句子分割器和用于调试分词过程的语法网络查看器。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目