lindera/lindera

A multilingual morphological analysis library.

解决的问题

Lindera 是一个专为分词日文文本而设计的形态分析库，日语单词之间没有空格分隔。它为开发者提供简洁的 API，用于将日文文本分解为其组成部分，以便进一步处理。

工作原理

该库使用 Rust 编写以实现高性能，利用词典（如 IPADIC）对文本进行分析。它提供预构建的词典系统，用户可下载归档文件并指定路径以加载词典。核心逻辑使用 Rust 实现，但提供了 Python、Node.js、Ruby、PHP 和 WebAssembly 的绑定，可在浏览器中使用。

适用人群

需要处理日文文本的应用程序开发者，特别是那些在不同编程环境中需要高效分词和形态分析的开发者。

特色亮点

  • 高性能：单线程下可实现约 10–20 MB/s 的日文文本分词速度。
  • 多语言支持：提供 Python、Node.js、Ruby、PHP 和 WebAssembly 的官方绑定。
  • 安装简便：提供 CLI 工具，可自动下载词典。
  • 原生 Rust：使用 Rust 编写，兼顾安全性和速度。

相关

  • 项目
    WorksApplications/sudachi.rs

    Sudachi 日语形态分析器的高性能 Rust 实现，用于高效处理日语文本的分词与语法分析。

  • 项目
    ikawaha/kagome

    一个纯 Go 实现的日本语形态分析器，可将文本分词并分析词性，词典内嵌，便于部署。

  • 项目
    polm/cutlet

    支持多种罗马化系统和 URL 别名生成的日本语文本转罗马字工具。

  • 项目
    megagonlabs/ginza

    GiNZA 是一个用于日语自然语言处理的 Python 库，提供快速且准确的依存句法分析、词性标注、词形还原和命名实体识别。它提供标准模型和基于 Transformer 的模型，支持 GPU 加速，包含 CLI 工具（`ginza`、`ginzame`），并与 spaCy 集成以便于 Python 中使用。

  • 项目
    WorksApplications/Sudachi

    Sudachi 是一个基于 Java 的日语形态分析器，用于对文本进行分词、标记词性并规范化变体。它提供三种分词模式、基于 UniDic 的大型词典（small、core、full）、插件架构以及对自定义用户词典的支持。您可以通过命令行 jar、Maven 库，或通过 Python/Rust 移植版和 Elasticsearch 插件来使用它。在 Apache 2.0 许可证下发布。