explosion/spacy-llm

解决的问题

它允许开发者将大型语言模型 (LLM) 集成到 spaCy 流水线中，以执行结构化 NLP 任务，而无需训练数据。它弥合了 LLM 提示工程的快速原型设计能力与监督学习或基于规则系统的生产级可靠性之间的差距。

运作方式

spacy-llm 提供了一个模块化系统，用户可以在其中定义 task（处理提示和解析响应）和 model（所使用的 LLM）。它作为 spaCy 流水线中的可序列化组件进行集成，将非结构化的 LLM 响应转化为稳健的结构化输出。它还支持 map-reduce 方法，通过分割提示并融合结果来处理超出 LLM 上下文窗口的文本。

适用对象

希望使用 LLM 快速构建 NLP 任务原型，同时保持与传统 spaCy 组件混合使用，或最终将其替换为更小型的监督模型以进行生产环境部署的 NLP 从业者与开发者。

特色亮点

• 广泛的模型支持：通过 Hugging Face 对接 OpenAI、Cohere、Anthropic、Google PaLM、Microsoft Azure AI 以及开源模型（例如 Llama 2、Mistral）。
• LangChain 集成：支持所有 LangChain 模型与功能。
• 预建任务：内置支持 NER、文本分类、词形还原、关系提取、情感分析等功能。
• 可定制性：允许通过 spaCy 的注册系统实现自定义提示、解析与模型集成。