WorksApplications/sudachi.rs

Sudachi in Rust 🦀 and new generation of SudachiPy

解决的问题

Sudachi.rs 是 Sudachi 日语形态分析器的 Rust 实现。它提供了一种将日语文本分解为有意义的单元（标记）并分析其语法属性的方法，这对于在高性能环境中处理日语文本数据至关重要。

工作原理

该工具使用系统词典（提供 Small、Core 和 Full 三种版本）进行分词和分析。支持三种不同的切分模式（A、B 和 C），以控制分词的粒度，从短单元到命名实体均可覆盖。同时提供词语的标准化形式，以统一不同拼写或表达方式的变体。

适用人群

需要在 Rust 中使用快速、内存安全的 Sudachi 分析器实现的日本语文本处理开发者和数据科学家。

主要特性

  • 多粒度分词：可在短（A）、中（B）和命名实体（C）切分单位之间切换。
  • 标准化形式：将词语的不同变体转换为标准形式，便于分析。
  • Wakati 输出：支持空格分隔的表层形式输出，适用于简单分词。
  • 词典灵活性：支持多种词典大小（Small、Core、Full）和用户自定义词典。

相关

  • 项目
    WorksApplications/Sudachi

    Sudachi 是一个基于 Java 的日语形态分析器，用于对文本进行分词、标记词性并规范化变体。它提供三种分词模式、基于 UniDic 的大型词典（small、core、full）、插件架构以及对自定义用户词典的支持。您可以通过命令行 jar、Maven 库，或通过 Python/Rust 移植版和 Elasticsearch 插件来使用它。在 Apache 2.0 许可证下发布。

  • 项目
    lindera/lindera

    用 Rust 编写的高性能日语形态分析库，提供 Python、Node.js 及其他语言的绑定。

  • 项目
    WorksApplications/SudachiDict

    为 Sudachi 日语分词器提供多种大小的词典，以实现准确的词法分析和形态分析。

  • 项目
    huggingface/tokenizers

    基于 Rust 的超高速分词器库（附带 Python/Node 绑定），实现 BPE、WordPiece、Unigram 等，推理与训练分离，使用 SIMD 加速预分词，提供极小的生产二进制文件。

  • 项目
    polm/cutlet

    支持多种罗马化系统和 URL 别名生成的日本语文本转罗马字工具。