Hugging Face Hub 存储区域

Hugging Face 已将存储区域作为其 Enterprise Hub 计划的一部分推出,使组织能够选择其模型和数据集的物理位置。此功能满足了数字主权、法律合规和数据传输效率的关键需求。

监管和法律合规

存储区域使受监管行业的组织能够满足严格的数据驻留要求。对于在欧盟内运营的公司,这通过确保数据集、模型和推理端点仅存储在欧盟数据中心内,使得机器学习工作流程能够以符合 GDPR 的方式开发。

大文件的性能改进

将数据存储在团队的物理位置和基础设施附近可以显著降低延迟并提高上传和下载的吞吐量。由于模型权重和数据集文件通常非常大,区域存储提供了显著的性能提升。

根据 Hugging Face 的说法,位于欧洲且将其仓库存储在 EU 区域的用户可以预期上传和下载速度大约比在美国区域存储的数据快 4-5 倍。

可用区域和配置

截至 2023 年 11 月,Hugging Face 支持以下存储区域:

  • US 🇺🇸
  • EU 🇪🇺
  • Asia-Pacific 🌏 (即将推出)

组织设置

Enterprise Hub 组织可以通过专用的区域设置页面管理其存储位置。此界面提供当前仓库位置的审计,以及下拉菜单以选择新仓库的默认区域。

仓库可见性

为了确保组织内部的透明度,任何存储在非默认位置的模型或数据集仓库都会被标记为 Region 标签。这使得组织成员可以一眼识别出仓库的物理位置。

Sources