Hugging Face Transformers 文档重新设计

Hugging Face 正在重新设计 Transformers 文档,以更好地服务产品开发者并提升可扩展性

Hugging Face 正在启动对 Transformers 文档的全面重新设计,以从碎片化、逐步增长的结构转变为统一的、代码优先的体验。此重新设计旨在支持更广泛的开发者群体,这些开发者正在构建 AI 产品,而不仅仅是机器学习研究人员和工程师。

将焦点转向产品开发者受众

The Transformers 文档最初是为机器学习工程师和研究人员设计的。然而,随着 AI 的成熟,越来越多的开发者希望将 AI 集成到产品中。Hugging Face 识别出这些用户在使用文档时的两个主要区别:

  • 代码优先的方式: 开发者通常寻找特定解决方案,并从代码示例开始。
  • 情境需求: 对 AI 不熟悉的开发者可能会被复杂的库所淹没;因此,代码示例必须与初学者机器学习概念的解释紧密结合,以提供完整的入门体验。

为了解决这些问题,重新设计将优先提供面向解决方案的内容和渐进式学习路径,使开发者在掌握基础后能够提升自己的知识水平。

从僵化框架到有机增长

此前,文档遵循 Diátaxis 框架——一个基于用户需求(学习、解决、理解和参考)的系统。虽然最初旨在提供指导,但其实施变成了僵化的计划,强制将内容划分到四个预设类别中,阻碍了文档自然扩展的能力。

这种僵化常导致单一主题被拆分到多个章节,因为结构要求如此,而非对用户而言合乎逻辑。重新设计将以灵活性取代这种僵化,使文档能够根据内容的自然结构有机演进和增长。

跨越三个演进时代的内容整合

当前的 Transformers 文档呈现出跨越 AI 发展三个不同阶段的“年轮式”增量添加:

  1. “不仅仅是文本”时代: 向计算机视觉、音频和多模态任务等模态扩展。
  2. 大语言模型(LLM)时代: 参数达到数十亿的模型崛起,引入提示、对话等概念,以及参数高效微调(PEFT)和分布式训练等高效训练方法。
  3. 优化时代: 通过量化、FlashAttention、低秩适配(LoRA)以及键值缓存优化等手段,使资源受限的用户也能使用 LLM,实现民主化。

由于这些添加是逐步进行的,文档变得不平衡且散乱。重新设计旨在从这种“补丁”模式——新内容叠加在旧内容之上——转向“整合”模式,使所有内容作为统一文档体验的原生部分共存。

Sources