WorksApplications/SudachiDict

解決する課題

Sudachi 日本語形態素解析器が機能するために不可欠な辞書（語彙データ）を提供します。辞書がなければ、解析器は日本語のテキストを意味のある単語に正確に分割したり、固有名詞を識別したりすることができません。

仕組み

SudachiDict は、Sudachi 解析器（およびその Python/Rust 実装）が形態素解析を行うために読み込む、ビルド済みのバイナリ辞書とソース CSV ファイルを提供します。以下の3つの語彙カバレッジレベルがあります：

• Small: UniDic の語彙のみを含みます。
• Core: 基本的な語彙を含むデフォルトバージョンです。
• Full: より広範なカバレッジのために、その他の固有名詞を追加で含みます。

対象ユーザー

Sudachi 解析器エコシステムを使用して、日本語テキストの自然言語処理 (NLP) アプリケーションを構築する開発者。

特徴

• 複数のティア: メモリ使用量と語彙の広さのバランスを取るために、Small、Core、Full の各バージョンを提供します。
• Python 統合: インストールが容易な PyPI パッケージ（sudachidict_core など）として利用可能です。
• バージョン化されたフォーマット: 特定のバージョンの Sudachi エンジンとの互換性を確保するため、異なるバイナリフォーマット (V0 および V1) を維持しています。