explosion/spacy-llm

解決する課題

開発者が大規模言語モデル (LLM) を spaCy パイプラインに統合し、学習データなしで構造化された NLP タスクを実行できるようにします。LLM プロンプトによる迅速なプロトタイピング能力と、教師あり学習やルールベースシステムが持つ本番環境での信頼性との間のギャップを埋めます。

仕組み

spacy-llm はモジュール式のシステムを提供しており、ユーザーは task（プロンプトの処理と応答の解析を担当）と model（使用する LLM）を定義できます。これは spaCy パイプライン内のシリアライズ可能なコンポーネントとして統合され、非構造化な LLM の応答を堅牢で構造化された出力に変換します。また、map-reduce アプローチをサポートしており、プロンプトを分割して結果を統合することで、LLM のコンテキストウィンドウを超えるテキストも処理可能です。

対象ユーザー

LLM を使用して NLP タスクのプロトタイプを迅速に作成したいが、従来の spaCy コンポーネントと組み合わせたり、将来的には本番環境向けにより小さな教師ありモデルに置き換えたりする柔軟性を維持したい NLP 実務者や開発者。

ハイライト

• 幅広いモデルサポート: OpenAI、Cohere、Anthropic、Google PaLM、Microsoft Azure AI、および Hugging Face 経由のオープンソースモデル（Llama 2、Mistral など）とインターフェース接続します。
• LangChain 統合: すべての LangChain モデルと機能をサポートします。
• 構築済みタスク: NER、テキスト分類、見出し語化、関係抽出、感情分析などをすぐに利用可能です。
• カスタマイズ性: spaCy のレジストリを通じて、カスタムプロンプト、解析、モデル統合の実装が可能です。