PaddlePaddle 與 Hugging Face Hub 整合

Hugging Face 與 PaddlePaddle 合作，將 PaddlePaddle 深度學習平台整合至 Hugging Face Hub。此合作旨在透過將 PaddlePaddle 在文字、影像、音訊、影片與多模態領域的預訓練模型開放給全球開源社群，實現 AI 的民主化。

PaddlePaddle 平台概覽

PaddlePaddle 最早於 2016 年由百度開源，是一個為可擴展實作而設計的深度學習平台。至 2022 年第四季，該平台已被超過 535 萬開發者與 20 萬家企業使用，持有中國深度學習平台的最高市場佔有率。

生態系統包含多個專門的開源倉庫：

  • Paddle：核心深度學習框架。
  • Model Libraries：針對不同模態的專門庫，包括 PaddleOCR、PaddleDetection、PaddleNLP 與 PaddleSpeech。
  • PaddleSlim：模型壓縮工具。
  • FastDeploy：模型部署框架。

Hub 整合與模型探索

整合首先從 PaddleNLP 開始，其他庫將陸續加入。使用者可透過特定的 "PaddlePaddle" 庫標籤，在 Hugging Face Hub 上搜尋 PaddlePaddle 模型。

在公告時，Hub 上已有超過 75 個 PaddlePaddle 模型可供使用，包含：

  • UIE：多任務資訊抽取模型系列。
  • ERNIE 3.0：最先進的中文語言模型系列。
  • Ernie-Layout：結合版面知識增強的文件預訓練模型。

此外，Hub 上的 PaddlePaddle 組織提供 Spaces，讓使用者可互動使用 Ernie‑ViLG（文字轉圖像）、UIE‑X（跨模態資訊抽取）與 PaddleOCR（多語言 OCR 工具包）等工具。

推論與互動功能

Hub 上的 PaddlePaddle 模型支援 Hugging Face Inference API，使用者可透過 cURL、Python 的 requests 函式庫或其他網路請求方式，以 HTTP 請求與模型互動。對於支援特定任務的模型，瀏覽器內直接提供互動小工具，讓使用者即時測試。

模型使用與分享

使用者可在 Hub 上點擊 "在 paddlenlp 中使用" 按鈕載入特定模型，系統會提供相應的程式碼片段供實作。

若要分享模型，PaddleNLP 目前支援透過 save_to_hf_hub 方法將模型推送至 Hub。範例實作如下：

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-3.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-3.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

Sources