spaCy 與 Hugging Face Hub 的整合
Hugging Face 已將 spaCy 庫整合到 Hugging Face Hub,使用標準化基礎設施讓使用者能夠共享、探索與部署 spaCy NLP 管線。此整合透過提供 spaCy 模型的中央儲存庫與簡化的部署選項,簡化了從原型到生產的路徑。
簡化模型分發與安裝
使用者現在可以透過 pip install 直接從 Hugging Face Hub 安裝 spaCy 模型。這移除了手動下載的需求,並簡化了依賴管理。模型可以使用標準方法載入 spaCy:
# Using spacy.load()
import spacy
nlp = spacy.load("en_core_web_sm
# Importing as module
import en_core_web_sm
nlp = en_core_web_sm.load()
為此,Hub 在模型儲存庫上提供「Use in spaCy」按鈕,產生可用於安裝與載入的程式碼片段。
模型探索與 Hub 功能
Hugging Face Hub 現在根據 spaCy 3.1 版本,託管超過 60 個來自 spaCy 組織的標準模型。除了官方模型之外,社群貢獻的 spaCy 模型亦可透過 Hub 上的專用過濾器探索。
互動小工具與推論 API
此整合包含針對命名實體識別(NER)的專用小工具,允許使用者在瀏覽器中互動式測試模型。儘管 NER 透過託管推論 API 原生支援,但詞性標註(POS)與文本分類的支援規劃在未來更新中實現。
使用者也可透過 HTTP 請求與這些模型互動,適用於生產環境:
curl -X POST --data '{"inputs": "Hello, this is Omar"}' https://api-inference.huggingface.co/models/spacy/en_core_web_sm
透過 spacy-huggingface-hub 簡化模型共享
開發者可使用 spacy-huggingface-hub 庫將自己的 spaCy 管線上傳至 Hub。該庫擴充 spaCy CLI,提供 huggingface-hub push 指令,自動上傳封裝好的模型、中繼資料,並產生模型卡。
共享模型的工作流程如下:
- 透過
huggingface-cli login進行驗證。 - 使用
python -m spacy package封裝模型。 - 使用
python -m spacy huggingface-hub push將套件推送至 Hub。
函式庫整合的基礎設施
此整合得益於 huggingface_hub 庫,該庫提供必要的 API 與小工具框架以支援各種函式庫。Hugging Face 亦提供指南,供其他函式庫維護者參考,以將其工具整合至 Hub。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- 專案
- Dispatch