ahmetaa/zemberek-nlp
NLP tools for Turkish.
Zemberek-NLP – トルコ語自然言語処理ツールキット
概要 – トルコ語に特化したNLPコンポーネントをまとめたJavaライブラリです。低レベルのテキスト処理(トークン化、スペル修正)から、形態素解析、固有表現抽出、言語識別、テキスト分類といった高レベルなタスクまでを網羅しています。
主要モジュール
| モジュール | 機能 |
|---|---|
| Core | 他のモジュールで使用されるユーティリティコレクション、ハッシュ関数、ヘルパークラス。 |
| Morphology | トルコ語の形態素解析、曖昧性解消、語形生成。 |
| Tokenization | トルコ語の正書法に最適化された文境界検出とトークン化。 |
| Normalization | スペルチェック、単語提案、ノイズテキストのクリーニング。 |
| NER | 固有表現抽出器(モデルは未同梱)。 |
| Classification | FacebookのfastTextのJava移植版に基づくテキスト分類。 |
| Language Identification | 指定されたテキストの言語を高速に検出。 |
| Language Modeling | 圧縮に適した言語モデル形式とユーティリティ。 |
| Applications | すぐに実行可能なコンソールツール(例:対話型形態素解析器)。 |
| gRPC Server | 他の言語から呼び出せるよう、gRPC経由でライブラリを公開。 |
| Examples | 一般的な使用パターンを示す小さなプログラム。 |
使用方法
- Maven – Zemberek Mavenリポジトリ (
https://raw.github.com/ahmetaa/maven-repo/master) を追加し、必要なモジュール(例:zemberek-morphologyバージョン0.17.1)を依存関係として宣言します。 - Standalone JAR – リンク先のGoogle-Driveフォルダから
zemberek-full.jarをダウンロードします。java -jar zemberek-full.jarを実行すると、同梱されているコンソールアプリケーションが一覧表示されます。 - Source – リポジトリには
examplesモジュールと、APIの使用例を示す独立したturkish-nlp-examplesプロジェクトが含まれています。
現在のステータス – プロジェクトは 低頻度メンテナンスモード です。最新リリースは0.17.1 (2019年7月) です。一部のコンポーネント(NERなど)には事前学習済みモデルがなく、マルチスレッドテストも限定的です。
ライセンス – Apache License 2.0(寛容で商用利用可能)。
対象ユーザー – トルコ語アプリケーション(チャットボット、検索、テキスト分析など)を構築する研究者、開発者、ホビイストで、直接組み込み可能またはgRPC経由でアクセス可能な純Javaソリューションを求めている方。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト