apache/opennlp

Apache OpenNLP

解決する問題

Apache OpenNLPは、自然言語テキストを処理するための包括的な機械学習ベースのツールセットを提供します。複雑なモデルをゼロから構築する必要がある一般的なNLPタスクのために、成熟したツールキットを提供することで、高度なテキスト処理サービスの作成を簡素化します。

仕組み

完全にJavaで書かれたこのライブラリは、テキストを分析するために、最大エントロピー、パーセプトロン、ナイーブベイズ、サポートベクターマシン（SVM）を含むさまざまな機械学習分類器を実装しています。Java APIを介してプログラムで使用することも、コマンドラインインターフェース（CLI）を介して使用することもできます。現代のディープラーニングのニーズには、オプションのGPUアクセラレーションを備えたONNXモデル用のアダプタが含まれています。このツールキットはモジュール式で、アプリケーションのフットプリントを小さく保つために、必要な特定のコンポーネント（トークン化や固有表現抽出など）のみをインポートできます。

対象者

テキスト処理アプリケーションを構築するJava開発者、およびApache Flink、Apache NiFi、Apache Sparkなどの分散ストリーミングデータパイプラインにNLP機能を統合するデータエンジニア向けに設計されています。

ハイライト

  • 幅広いタスクサポート：トークン化、文分割、品詞タグ付け、固有表現抽出、チャンキング、構文解析、共参照解決、言語検出を処理します。
  • 多言語サポート：11言語のストップワードフィルタリングを含み、さまざまな言語の事前構築モデルを提供します。
  • 柔軟な展開：APIとCLIの両方の使用をサポートし、ディープラーニングモデル用にONNXと統合します。
  • エンタープライズ対応：安定性とスケーラビリティを考慮して構築されており、バージョン3.0.0+ではスレッドセーフなコアクラスを提供します。

関連

  • プロジェクト
    JohnSnowLabs/spark-nlp

    Spark NLPは、Apache Sparkネイティブのライブラリであり、200以上の言語に対応した膨大な数の事前学習済みNLPおよびLLMモデル（BERT、Llama-2、Whisper、Vision Transformersなど）を提供します。CPU、GPU、Apple-silicon、AArch64ビルドをサポートし、TensorFlow/ONNX/OpenVINOからのモデルインポートが可能で、あらゆるSparkクラスター（Databricks、EMR、GCP Dataprocなど）で実行できます。pipまたはMavenでインストールし、`sparknlp.start()`でSparkセッションを開始して事前学習済みパイプラインを読み込むことで、エンティティ、品詞タグ、埋め込み、翻訳、生成テキストなどのトークンレベルの注釈を取得できます。Apache 2.0ライセンスで提供されています。

  • プロジェクト
    ahmetaa/zemberek-nlp

    Zemberek-NLPは、トルコ語専用のNLPツール（トークン化、形態素解析、スペルチェック、言語識別、fastTextベースの分類など）を提供するJavaライブラリです。Mavenモジュールまたは単一のJARとして配布されており、コンソールアプリとgRPCサーバーが含まれています。ライセンスはApache 2.0です。プロジェクトは現在低頻度でメンテナンスされており、最新バージョンは0.17.1 (2019)です。

  • プロジェクト
    PyThaiNLP/pythainlp

    タイ語自然言語処理のための包括的な Python ライブラリであり、トークン化、品詞タグ付け、言語分析ツールを提供します。

  • プロジェクト
    stanfordnlp/CoreNLP

    Javaベースの自然言語処理フレームワークであり、品詞タグ付け、固有表現抽出、構文解析など、生のテキストを分析するためのツールスイートを提供します。

  • プロジェクト
    hankcs/HanLP

    HanLPは、130以上の言語に対応したトークン化、品詞タグ付け、解析、SRL、AMRなどの事前学習済みモデルを提供する多言語NLPライブラリ（Python/Java）です。ネイティブPython APIと軽量なRESTfulクライアントの両方を提供し、簡単な統合を可能にし、再現性を重視しています。コードはApache 2.0、モデルはCC BY-NC-SA 4.0で公開されています。