WorksApplications/SudachiDict

A lexicon for Sudachi

解決的問題

它為 Sudachi 日語分詞器提供全面的詞典，使日語文本的準確分詞和形態分析成為可能。

運作方式

該項目提供不同大小的預構建詞典，以平衡記憶體使用和覆蓋率。它與 SudachiPy（Sudachi 的 Python 版本）整合，作為可安裝的 Python 套件，允許使用者為其 NLP 管道指定所需的詞典版本。

適用對象

從事日語自然語言處理（NLP）且需要可靠詞典進行分詞的開發人員和研究人員。

亮點

  • 提供三種大小：Small（UniDic 詞彙）、Core（基本詞彙）和 Full（包含其他專有名詞）。
  • Python 使用者可透過 pip 輕鬆安裝。
  • 基於 UniDic 和 NEologd 的部分內容。
  • 採用 Apache License 2.0 授權。

相關

  • 專案
    WorksApplications/Sudachi

    Sudachi 是一個基於 Java 的日語形態分析器，用於對文本進行分詞、標記詞性並正規化變體。它提供三種分詞模式、基於 UniDic 的大型詞典（small、core、full）、外掛架構以及對自訂使用者詞典的支援。您可以透過命令列 jar、Maven 函式庫，或透過 Python/Rust 移植版和 Elasticsearch 外掛來使用它。在 Apache 2.0 許可證下發布。

  • 專案
    WorksApplications/sudachi.rs

    Sudachi 日語形態素分析器的高效率 Rust 實作，用於高效處理日語文字的分詞與語法分析。

  • 專案
    lindera/lindera

    以 Rust 編寫的高效能日語形態分析程式庫，提供 Python、Node.js 及其他語言的綁定。

  • Dispatch
    解決日文振假名生成中的上下文問題

    探索 EZFurigana，這是一款結合了 Sudachi 和 ModernBERT 的工具，旨在解決日文閱讀自動化中最困難的部分，例如依賴上下文的漢字讀音。

  • 專案
    ikawaha/kagome

    一個純 Go 實作的日本語形態分析器，可將文字分詞並分析詞性，詞典內嵌，部署輕鬆。