lindera/lindera

A multilingual morphological analysis library.

何を解決するか

Lindera は、単語の間にスペースがない日本語テキストをトークン化するための形態素解析ライブラリです。開発者が日本語テキストを構成要素に分解して、さらに処理を行うための簡潔な API を提供します。

動作方法

パフォーマンスを重視して Rust で書かれたこのライブラリは、IPADIC などの辞書を使用してテキストを分析します。ユーザーはアーカイブをダウンロードし、パスを指定することで、事前に構築された辞書システムを利用できます。コアロジックは Rust で実装されていますが、Python、Node.js、Ruby、PHP、WebAssembly など複数の言語用のバインディングを提供しており、ブラウザでも利用可能です。

対象ユーザー

日本語テキストを処理する必要があるアプリケーションを開発している開発者。特に、さまざまなプログラミング環境で効率的なトークン化と形態素解析を必要とする人向けです。

特徴

  • 高性能：シングルスレッドで約 10–20 MB/s の速度で日本語テキストをトークン化できます。
  • 多言語対応：Python、Node.js、Ruby、PHP、WebAssembly 用の公式バインディングを提供しています。
  • インストールが簡単：自動で辞書をダウンロードする CLI ツールを提供しています。
  • Rustネイティブ：安全性と高速性を兼ね備えた Rust で構築されています。

関連

  • プロジェクト
    WorksApplications/sudachi.rs

    高パフォーマンスな日本語形態素解析器であるSudachiのRust実装。日本語テキストのトークン化と文法解析を高速に行う。

  • プロジェクト
    ikawaha/kagome

    埋め込み辞書を備えた純Goの日本語形態素解析器で、テキストをトークン化し、品詞を分析する。デプロイが容易なため、簡単に利用可能。

  • プロジェクト
    polm/cutlet

    複数のローマ字表記システムとURLスラッグ生成をサポートする日本語テキストからローマ字への変換ツール。

  • プロジェクト
    megagonlabs/ginza

    GiNZAは、高速かつ高精度な依存構造解析、品詞タグ付け、見出し語化、固有表現抽出を提供する日本語NLP用Pythonライブラリです。標準モデルとTransformerベースのモデルを提供し、GPUアクセラレーションをサポートし、CLIツール（`ginza`、`ginzame`）を含み、spaCyと統合してPythonで簡単に利用できます。

  • プロジェクト
    WorksApplications/Sudachi

    SudachiはJavaベースの日本語形態素解析器であり、テキストをトークン化し、品詞をタグ付けし、表記ゆれを正規化します。3つのセグメンテーションモード、大規模なUniDicベースの辞書（small、core、full）、プラグインアーキテクチャ、カスタムユーザー辞書のサポートを提供します。コマンドラインjar、Mavenライブラリ、またはPython/RustのポートおよびElasticsearchプラグインを通じて使用できます。Apache 2.0ライセンスの下で公開されています。