WorksApplications/sudachi.rs

Sudachi in Rust 🦀 and new generation of SudachiPy

何を解決するか

Sudachi.rs は Sudachi 日本語形態素解析器の Rust 実装です。日本語テキストを意味のある単位（トークン）に分解し、その文法的性質を分析する方法を提供します。これは、高性能環境での日本語言語データ処理に不可欠です。

動作方法

システム辞書（Small、Core、Full のバージョンあり）を使用してトークン化と分析を行います。トークン化の粒度を制御するための 3 つの異なる分割モード（A、B、C）をサポートしており、短い単位から固有表現までカバーします。また、語の異なる表記や表現のバリエーションを統一するための正規化形も提供します。

対象ユーザー

Rust で高速かつメモリセーフな Sudachi 解析器の実装が必要な、日本語テキスト処理に取り組む開発者やデータサイエンティスト。

特徴

  • 多粒度トークン化: 短い（A）、中程度（B）、固有表現（C）の分割単位を切り替え可能。
  • 正規化形: 語のバリエーションを標準形に変換し、分析を容易にする。
  • Wakati 出力: 空白区切りの表層形出力をサポートし、シンプルなトークン化に対応。
  • 辞書の柔軟性: Small、Core、Full の複数の辞書サイズとユーザー定義辞書をサポート。

関連

  • プロジェクト
    WorksApplications/Sudachi

    SudachiはJavaベースの日本語形態素解析器であり、テキストをトークン化し、品詞をタグ付けし、表記ゆれを正規化します。3つのセグメンテーションモード、大規模なUniDicベースの辞書（small、core、full）、プラグインアーキテクチャ、カスタムユーザー辞書のサポートを提供します。コマンドラインjar、Mavenライブラリ、またはPython/RustのポートおよびElasticsearchプラグインを通じて使用できます。Apache 2.0ライセンスの下で公開されています。

  • プロジェクト
    lindera/lindera

    Rust で作られた高性能な日本語形態素解析ライブラリで、Python、Node.js、その他の言語用のバインディングを提供します。

  • プロジェクト
    WorksApplications/SudachiDict

    Sudachi日本語トークナイザー用の辞書で、正確な分かち書きと形態素解析のためにさまざまなサイズの辞書を提供します。

  • プロジェクト
    huggingface/tokenizers

    Rustベースの超高速トークナイザー（Python/Nodeバインディング付き）で、BPE、WordPiece、Unigramなどを実装。推論と学習を分離し、SIMD加速された事前トークン化を採用。プロダクション用の極小バイナリを提供。

  • プロジェクト
    polm/cutlet

    複数のローマ字表記システムとURLスラッグ生成をサポートする日本語テキストからローマ字への変換ツール。