ahmetaa/zemberek-nlp

NLP tools for Turkish.

Zemberek-NLP – トルコ語自然言語処理ツールキット

概要 – トルコ語に特化したNLPコンポーネントをまとめたJavaライブラリです。低レベルのテキスト処理(トークン化、スペル修正)から、形態素解析、固有表現抽出、言語識別、テキスト分類といった高レベルなタスクまでを網羅しています。

主要モジュール

モジュール 機能
Core 他のモジュールで使用されるユーティリティコレクション、ハッシュ関数、ヘルパークラス。
Morphology トルコ語の形態素解析、曖昧性解消、語形生成。
Tokenization トルコ語の正書法に最適化された文境界検出とトークン化。
Normalization スペルチェック、単語提案、ノイズテキストのクリーニング。
NER 固有表現抽出器(モデルは未同梱)。
Classification FacebookのfastTextのJava移植版に基づくテキスト分類。
Language Identification 指定されたテキストの言語を高速に検出。
Language Modeling 圧縮に適した言語モデル形式とユーティリティ。
Applications すぐに実行可能なコンソールツール(例:対話型形態素解析器)。
gRPC Server 他の言語から呼び出せるよう、gRPC経由でライブラリを公開。
Examples 一般的な使用パターンを示す小さなプログラム。

使用方法

  • Maven – Zemberek Mavenリポジトリ (https://raw.github.com/ahmetaa/maven-repo/master) を追加し、必要なモジュール(例:zemberek-morphology バージョン 0.17.1)を依存関係として宣言します。
  • Standalone JAR – リンク先のGoogle-Driveフォルダから zemberek-full.jar をダウンロードします。java -jar zemberek-full.jar を実行すると、同梱されているコンソールアプリケーションが一覧表示されます。
  • Source – リポジトリには examples モジュールと、APIの使用例を示す独立した turkish-nlp-examples プロジェクトが含まれています。

現在のステータス – プロジェクトは 低頻度メンテナンスモード です。最新リリースは0.17.1 (2019年7月) です。一部のコンポーネント(NERなど)には事前学習済みモデルがなく、マルチスレッドテストも限定的です。

ライセンス – Apache License 2.0(寛容で商用利用可能)。

対象ユーザー – トルコ語アプリケーション(チャットボット、検索、テキスト分析など)を構築する研究者、開発者、ホビイストで、直接組み込み可能またはgRPC経由でアクセス可能な純Javaソリューションを求めている方。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト