WorksApplications/SudachiDict

A lexicon for Sudachi

解决的问题

它为 Sudachi 日语分词器提供全面的词典，使日语文本的准确分词和形态分析成为可能。

工作原理

该项目提供不同大小的预构建词典，以平衡内存使用和覆盖率。它与 SudachiPy（Sudachi 的 Python 版本）集成，作为可安装的 Python 包，允许用户为其 NLP 管道指定所需的词典版本。

适用人群

从事日语自然语言处理（NLP）且需要可靠词典进行分词的开发人员和研究人员。

亮点

  • 提供三种大小：Small（UniDic 词汇）、Core（基本词汇）和 Full（包含其他专有名词）。
  • Python 用户可通过 pip 轻松安装。
  • 基于 UniDic 和 NEologd 的部分内容。
  • 采用 Apache License 2.0 许可。

相关

  • 项目
    WorksApplications/Sudachi

    Sudachi 是一个基于 Java 的日语形态分析器，用于对文本进行分词、标记词性并规范化变体。它提供三种分词模式、基于 UniDic 的大型词典（small、core、full）、插件架构以及对自定义用户词典的支持。您可以通过命令行 jar、Maven 库，或通过 Python/Rust 移植版和 Elasticsearch 插件来使用它。在 Apache 2.0 许可证下发布。

  • 项目
    WorksApplications/sudachi.rs

    Sudachi 日语形态分析器的高性能 Rust 实现，用于高效处理日语文本的分词与语法分析。

  • 项目
    lindera/lindera

    用 Rust 编写的高性能日语形态分析库，提供 Python、Node.js 及其他语言的绑定。

  • Dispatch
    解决日语振假名生成中的上下文问题

    探索 EZFurigana，一款结合了 Sudachi 和 ModernBERT 以解决日语阅读自动化中最困难的部分（如依赖上下文的汉字读音）的工具。

  • 项目
    ikawaha/kagome

    一个纯 Go 实现的日本语形态分析器，可将文本分词并分析词性，词典内嵌，便于部署。