spaCy 与 Hugging Face Hub 集成

Hugging Face 已将 spaCy 库集成到 Hugging Face Hub,使用户能够使用标准化基础设施共享、发现和部署 spaCy NLP 流水线。此集成通过提供 spaCy 模型的集中仓库和简化的部署选项,简化了从原型到生产的路径。

简化模型分发和安装

用户现在可以使用 pip install 直接从 Hugging Face Hub 安装 spaCy 模型。这消除了手动下载的需求,并简化了依赖管理。可以使用标准方法将模型加载到 spaCy 中:

# 使用 spacy.load()
import spacy
nlp = spacy.load("en_core_web_sm
)

# 作为模块导入
import en_core_web_sm
nlp = en_core_web_sm.load()

为此,Hub 在模型仓库上提供了一个 "在 spaCy 中使用" 按钮,该按钮生成用于安装和加载的可工作代码片段。

模型发现和 Hub 功能

Hugging Face Hub 现在托管了来自 spaCy 组织的超过 60 个规范模型,基于 spaCy 3.1 发布。除了官方模型外,社区贡献的 spaCy 模型也可通过 Hub 上的专用过滤器发现。

交互式小部件和推理 API

该集成包括用于命名实体识别(NER)的专用小部件,使用户能够在浏览器中交互式测试模型。虽然 NER 通过托管推理 API 开箱即用支持,但词性标注(POS)和文本分类的支持计划在未来更新中加入。

用户还可以通过 HTTP 请求与这些模型进行交互,以用于生产用例:

curl -X POST --data '{"inputs": "Hello, this is Omar"}' https://api-inference.huggingface.co/models/spacy/en_core_web_sm

通过 spacy-huggingface-hub 简化模型共享

开发者可以使用 spacy-huggingface-hub 库将自己的 spaCy 流水线上传到 Hub。此库通过 huggingface-hub push 命令扩展了 spaCy CLI,自动化打包模型、元数据的上传以及模型卡的生成。

共享模型的工作流程如下:

  1. 通过 huggingface-cli login 进行身份验证。
  2. 使用 python -m spacy package 打包模型。
  3. 使用 python -m spacy huggingface-hub push 将包推送到 Hub。

用于库集成的基础设施

此集成得益于 huggingface_hub 库,该库提供了必要的 API 和小部件框架以支持各种库。Hugging Face 为其他希望将其工具集成到 Hub 的库维护者提供了指南。

Sources

相关