ikawaha/kagome

Self-contained Japanese Morphological Analyzer written in pure Go

何を解決するか

Kagomeは、日本語の形態素解析を行うためのツールで、開発者が日本語テキストを単語にトークン化し、品詞を分析できるようにします。MeCab-IPADICやUniDicなどのサポートされる辞書を使用して、形態素解析を実行します。通常、日本語のトークン化には複雑な依存関係や外部の辞書管理が必要ですが、Kagomeは純粋なGo実装であり、辞書をバイナリに埋め込むことで、デプロイの障壁を低減します。

動作方法

テキストをMeCab-IPADICやUniDicなどのサポートされる辞書を使って処理し、形態素解析を行います。3つのセグメンテーションモード(通常、検索用(検索ヒューリスティクス最適化)、拡張(未知語のユニグラムを含む))を提供し、異なるトークン化戦略に対応します。CLI、Goライブラリ、RESTful APIサーバー、WebAssemblyへのコンパイル(ブラウザ上で実行可能)のいずれかとして利用できます。

対象ユーザー

日本語テキスト処理、検索エンジン、音声合成システムを構築する開発者、また複雑なCベースの依存関係ではなく、自己完結型のGoツールを好むユーザー。

特徴

  • 自己完結型: 辞書がバイナリに埋め込まれており、デプロイが容易です。
  • 複数のモード: 通常、検索用、拡張の3つのセグメンテーション戦略をサポートします。
  • クロスプラットフォーム: Goライブラリ、C共有ライブラリ(Python/PHPのFFI経由)、WebAssembly、Dockerイメージとして利用可能です。
  • 統合ツール: RESTful APIサーバー、文分割ツール、およびデバッグ用のラティスビューアーを含んでいます。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト