使用 & 混合 Hugging Face 模型与 Gradio 2.0

Gradio 2.0 允许开发者使用单行代码为 Hugging Face 模型创建图形用户界面(GUI)。此集成简化了向非程序员和跨学科团队演示模型的过程,以识别偏见和故障点。

单行模型部署

Gradio 2.0 使得几乎可以立即从 Hugging Face Model Hub 加载任何模型——该中心包含超过 10,000 个用于自然语言处理、图像分类和音频处理的模型——直接进入 GUI。

开发者有两种主要方式运行这些模型:

  • Hosted Inference API:默认情况下,Gradio 使用 Hugging Face 的托管推理 API,可以通过公钥访问,也可以无需 API 密钥。
  • 本地执行:通过安装 transformers 库(pip install transformers),用户可以在自己的硬件上本地运行模型计算。

自定义和界面控制

用户可以通过覆盖 Gradio Interface 类的默认参数来自定义他们的模型演示。这使得对模型的呈现方式及其与输入数据的交互方式具有更细粒度的控制。

组合和混合模型

Gradio 2.0 将模型视为可组合以创建复杂应用的模块化组件。这是通过两种主要配置模式实现的:

并行组合

模型可以并行加载以便直接比较。例如,开发者可以同时加载四种不同的文本生成模型,以确定哪种模型在特定用例下表现最佳。

串行组合

模型可以串行放置以构建复杂的流水线。这使得可以创建多步骤应用,例如一个系统先将芬兰新闻文章翻译系统,然后对翻译后的文本进行摘要,只需三行代码即可实现。

开发者还可以通过将多个模型串行组合并在并行中相互比较来进一步结合这些模式。

Sources