面向画廊、图书馆、档案馆和博物馆的 Hugging Face Hub

什么是 Hugging Face Hub

Hugging Face Hub 是一个中心仓库，人们可以在其中分享和访问机器学习模型、数据集和演示。它托管了超过 190,000 个机器学习模型、33,000 个数据集以及超过 100,000 个机器学习应用和演示。这些资源涵盖了广泛的任务和领域，包括预训练语言模型、文本、图像和音频分类、目标检测以及生成模型。

你可以在 Hugging Face Hub 上找到什么

Hub 提供了对支持各种模态和任务的机器学习模型、数据集和 Spaces 的访问。

Models

Hub 提供了涵盖各种任务和领域的机器学习模型的访问权限。许多机器学习库都与 Hub 集成，允许用户通过这些库直接使用或分享模型。

Datasets

Hub 托管了超过 30,000 个数据集。这些数据集涵盖了各种领域和模态，包括文本、图像、音频和多模态数据集，对于训练和评估机器学习模型具有重要价值。

Spaces

Hugging Face Spaces 是一个允许用户托管机器学习演示和应用的平台。Spaces 的范围从探索模型预测的简单演示到更复杂的应用。用户可以托管 Gradio 和 Streamlit 应用，或者使用自定义 Docker 镜像，并可以使用 Docker 模板快速创建流行工具（如 Argilla 和 Label Studio）的托管版本。

如何在 Hub 上找到相关模型

用户可以通过按任务和语言对 Hub 进行过滤，从而找到符合其目标的公开分享模型。

例如，在处理元数据极少的数字化挪威文档时，命名实体识别 (NER) 模型可以帮助识别文本中提到的地点。用户可以按 token-classification 任务（包括 NER 模型）进行过滤，并进一步按语言 Norwegian 进行过滤以缩小范围。许多此类模型包含一个模型组件，允许用户在自己的数据上测试性能。选择模型后，用户可以点击 "use in Transformers" 按钮以获取使用 Transformers 库加载模型的代码，或者点击 "deploy" 按钮来探索在 API 后端托管模型的选项。

演练：向 Hub 添加 GLAM 数据集

无需编写代码，即可通过浏览器界面将 GLAM 数据集添加到 Hub。

创建新的数据集仓库

第一步是点击 Hub 右上角下拉菜单中的 "New Dataset" 按钮，为仓库选择一个名称，可选地选择所有者组织，并指定一个许可证。

上传文件

创建仓库后，用户点击 "Files" 选项卡下的 "Add file"，选择要上传的数据文件，可以上传单个或多个文件。选择文件后，用户提交更改以完成上传。

添加元数据

添加元数据以提高数据集的可发现性非常重要。用户可以使用 Metadata UI 编辑器编辑元数据，以指定许可证、语言、标签和其他字段。此外，用户应在 README.md 文件中概述数据集的构建过程、优势和劣势，该文件将作为数据集卡片。Hub 提供了一个模板数据集卡片，为有用信息提供了提示。

数据集预览

上传后，Hub 会提供数据集的预览，这有助于用户更好地了解其内容。

其他共享数据集的方式

用户可以查阅数据集文档，了解可能适用于特定用例的其他方法。

为什么 GLAM 机构可能想要使用 Hub

画廊、图书馆、档案馆和博物馆有多种动机来为 Hub 做出贡献。

  • 接触新受众：Hub 是从事机器学习和 AI 工作的人员的中心目的地，因此分享馆藏可以让他们接触到这一受众并开启合作机会。
  • 社区：Hub 的社区功能允许用户提问并参与共享材料，让人们可以基于彼此的工作进行构建，并降低该领域使用机器学习的门槛。
  • 训练数据的多样性：分享特定领域的数据集有助于解决 GLAM 数据相关训练数据不足的问题，提高模型在现实世界馆藏上的性能。
  • 气候变化：分享训练好的模型可以减少重复劳动，从而共同降低与训练机器学习模型相关的碳足迹。

Hugging Face Hub 的应用实例

一些与 GLAM 相关的项目已经在使用 Hub 来分享模型、数据集和演示。

BigLAM

BigLAM 是 BigScience 项目的一项倡议，已通过 Hub 提供了 30 多个与 GLAM 相关的数据集，以提高可访问性。

Nasjonalbiblioteket AI Lab

挪威国家图书馆的 AI 实验室正在积极使用 Hub，分享了大约 120 个模型、23 个数据集和六个机器学习演示。这些包括在挪威国家图书馆的挪威语文本上训练的语言模型，以及在萨米语上训练的 Whisper 语音转文本模型。

Smithsonian Institution

史密森尼学会分享了一个托管在 Hugging Face Spaces 上的应用，展示了两个经过训练用于识别亚马逊鱼类的机器学习模型。该项目旨在为社区提供更准确测量亚马逊鱼类数量的工具，而 Spaces 演示降低了人们使用这些工具的门槛。

面向画廊、图书馆、档案馆和博物馆的 Hub 功能

Hub 包含对 GLAM 机构特别有帮助的功能。

  • Organizations：用户可以在 Hub 上创建组织，以便在专用空间中分享其机构的文物。
  • Minting DOIs：Hub 支持为模型、数据集和演示发布数字对象标识符 (DOIs)，提供期刊、会议和资助者通常要求的持久标识符。
  • Usage tracking：用户可以查看数据集和模型的每月下载统计数据或总累计下载量，以展示影响力。
  • Script-based dataset sharing：如果数据集已托管在其他地方，用户可以通过使用数据集加载脚本通过 Hub 提供访问。
  • Model and dataset gating：Hub 支持门控功能，允许所有者在需要时为模型和数据集添加访问控制。

我该如何获得使用 Hub 的帮助

用户可以在 Hub 文档、数据集共享指南和 Transformers 模型共享指南中找到详细信息。如需协助，Hub 提供了一个讨论论坛和一个 Discord 社区，用户可以在其中提问并获得支持。

Sources