PaddlePaddle と Hugging Face Hub の統合

Hugging Face と PaddlePaddle は協力して、PaddlePaddle の深層学習プラットフォームを Hugging Face Hub に統合しました。このパートナーシップは、テキスト、画像、音声、動画、マルチモーダルにわたる PaddlePaddle の事前学習モデルをグローバルなオープンソースコミュニティに提供することで、AI の民主化を目指しています。

PaddlePaddle プラットフォーム概要

元々 2016 年に Baidu によってオープンソース化された PaddlePaddle は、スケーラブルな実装を目的とした深層学習プラットフォームです。2022 年第4四半期時点で、5.35 百万人以上の開発者と 20 万社以上の企業が利用しており、中国における深層学習プラットフォームの市場シェアはトップです。

エコシステムには、以下のような専門的なオープンソースリポジトリが含まれます:

  • Paddle: コアの Deep Learning Framework。
  • Model Libraries: PaddleOCR、PaddleDetection、PaddleNLP、PaddleSpeech など、さまざまなモダリティ向けの専門ライブラリ。
  • PaddleSlim: モデル圧縮ツール。
  • FastDeploy: モデルデプロイメント用フレームワーク。

Hub 統合とモデル探索

統合は PaddleNLP から始まり、他のライブラリが続きます。ユーザーは「PaddlePaddle」ライブラリタグを使用して、Hugging Face Hub 上で PaddlePaddle のモデルを検索できます。

発表時点で、Hub には 75 以上の PaddlePaddle モデルが掲載されており、主な例は次のとおりです:

  • UIE: マルチタスク情報抽出モデルシリーズ。
  • ERNIE 3.0: 最先端の中国語言語モデルシリーズ。
  • Ernie-Layout: レイアウト知識強化を組み込んだ文書事前学習モデル。

さらに、Hub 上の PaddlePaddle 組織は、Ernie‑ViLG（テキストから画像への変換）、UIE‑X（クロスモーダル情報抽出）、PaddleOCR（多言語 OCR ツールキット）などのインタラクティブツール用 Spaces へのアクセスも提供しています。

推論とインタラクティブ機能

Hub 上の PaddlePaddle モデルは Hugging Face Inference API をサポートしており、cURL、Python の requests ライブラリ、その他のネットワークリクエスト手段を用いた HTTP リクエストでモデルと対話できます。特定タスクをサポートするモデルについては、ブラウザ上に直接インタラクティブウィジェットが提供され、即座にテストできます。

モデルの使用と共有

ユーザーは Hub の「Use in paddlenlp」ボタンを使って特定のモデルをロードでき、実装用のコードスニペットが提供されます。

モデルを共有する場合、PaddleNLP は現在 save_to_hf_hub メソッドを通じて Hub へプッシュすることをサポートしています。実装例は以下の通りです:

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-3.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-3.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

Sources