Prodigy-HF 整合發布說明

Explosion 已推出 Prodigy-HF，一個將 Prodigy 標註工具與 Hugging Face 生態系統整合的外掛。此整合使使用者能直接從標註資料微調 transformer 模型，並將資料集發布至 Hugging Face Hub，簡化資料標註與模型訓練之間的工作流程。

模型訓練與重用

Prodigy-HF 透過使用 Prodigy 介面內已標註的資料，啟用 Hugging Face 模型的訓練與重用。透過整合 Hugging Face transformers 庫的 AutoTokenizer 與 AutoModel 類別，該外掛可讓 Hugging Face Hub 上任何可用的 transformer 模型透過單一命令列介面進行微調。

命名實體識別 (NER)

使用者可以透過 hf.train.ner 配方對 NER 任務進行 transformer 模型的微調。例如，在特定資料集上訓練 distilbert-base-uncased 模型可透過以下指令達成：

python -m prodigy hf.train.ner fashion-train,eval:fashion-eval path/to/model-out --model "distilbert-base-uncased"

訓練完成後，這些模型可透過 hf.correct.ner 配方協助進一步標註，該配方會在 Prodigy 介面內直接顯示模型預測，以加速標註過程。

文本分類

與 NER 的管線類似，該外掛透過 hf.train.textcat 配方支援文本分類：

python -m prodigy hf.train.textcat fashion-train,eval:fashion-eval path/to/model-out --model "distilbert-base-uncased"

資料集發布至 Hugging Face Hub

Prodigy-HF 包含一項功能，可直接將標註過的資料集發布至 Hugging Face Hub。此功能允許使用者與更廣泛的社群分享他們的客製化資料集，以促進合作。

上傳流程透過以下指令處理：

python -m prodigy hf.upload <dataset_name> <username>/<repo_name>

整合範圍與未來發展

Prodigy-HF 的設計旨在利用 Hugging Face Hub 上龐大的模型與語言資源，支援特定領域與實驗性的使用案例。開發者已表示，該庫的額外功能目前正在開發中。