WorksApplications/SudachiDict

A lexicon for Sudachi

解決する課題

Sudachi日本語トークナイザー用の包括的な辞書を提供し、日本語テキストの正確な分かち書きと形態素解析を可能にします。

仕組み

メモリ使用量とカバレッジのバランスを取るため、さまざまなサイズの事前構築済み辞書を提供しています。SudachiPy（SudachiのPython版）と統合されており、インストール可能なPythonパッケージとして利用できます。これにより、ユーザーはNLPパイプラインに必要な辞書のエディションを指定できます。

対象ユーザー

日本語自然言語処理（NLP）に取り組んでおり、トークナイゼーションに信頼できる辞書が必要な開発者や研究者です。

ハイライト

  • 3つのサイズで利用可能：Small（UniDic語彙）、Core（基本語彙）、Full（その他の固有名詞を含む）。
  • Pythonユーザーはpipで簡単にインストール可能。
  • UniDicとNEologdの一部をベースに作成。
  • Apache License 2.0の下でライセンス提供。

関連

  • プロジェクト
    WorksApplications/Sudachi

    SudachiはJavaベースの日本語形態素解析器であり、テキストをトークン化し、品詞をタグ付けし、表記ゆれを正規化します。3つのセグメンテーションモード、大規模なUniDicベースの辞書（small、core、full）、プラグインアーキテクチャ、カスタムユーザー辞書のサポートを提供します。コマンドラインjar、Mavenライブラリ、またはPython/RustのポートおよびElasticsearchプラグインを通じて使用できます。Apache 2.0ライセンスの下で公開されています。

  • プロジェクト
    WorksApplications/sudachi.rs

    高パフォーマンスな日本語形態素解析器であるSudachiのRust実装。日本語テキストのトークン化と文法解析を高速に行う。

  • プロジェクト
    lindera/lindera

    Rust で作られた高性能な日本語形態素解析ライブラリで、Python、Node.js、その他の言語用のバインディングを提供します。

  • Dispatch
    文脈対応ふりがな：日本語の読みの曖昧さを解決する

    EZFuriganaがSudachiとModernBERTを活用し、日本語の文脈依存の読みの課題をどのように解決するかを探ります。

  • プロジェクト
    ikawaha/kagome

    埋め込み辞書を備えた純Goの日本語形態素解析器で、テキストをトークン化し、品詞を分析する。デプロイが容易なため、簡単に利用可能。