机器学习专家访谈 Sasha Luccioni——关于伦理 AI 与气候影响的要点
Hugging Face 采访了研究科学家 Sasha Luccioni，她讨论了自己在伦理 AI、碳足迹测量以及将机器学习应用于气候和社会挑战方面的工作。
Gradio 3.0 发布说明
Hugging Face 已发布 Gradio 3.0，包含完整的前端重新设计，并引入 Gradio Blocks，用于在 Python 中构建复杂的自定义机器学习网页应用。
Hugging Face 学生大使计划 2022
Hugging Face 已启动首个学生大使计划，以帮助实现其在 2023 年向 500 万人教授机器学习的目标。
Hugging Face 机器学习洞察总监：SaaS 版
Hugging Face 采访了来自 Salesforce、Amplitude、ZoomInfo 和 Repustate 的四位机器学习总监，讨论将机器学习集成到 SaaS 产品中的实际挑战、常见陷阱和未来机遇。
Optimum 1.2 推理发布 添加 ONNX Runtime 加速管道
Hugging Face 宣布了 Optimum 1.2，新增了通过 ONNX Runtime 的推理支持和 Transformers 管道集成，实现更快、量化和优化的模型服务。
Hugging Face C轮融资公告
Hugging Face 获得了 1亿美元的 C 轮融资，以通过开源研究、产品和协作式机器学习加速 AI 的民主化。
fastai 与 Hugging Face Hub 的集成
Hugging Face 已将 fastai 库集成到平台，使实践者能够仅用一行 Python 代码直接将 fastai Learner 对象上传到 Hugging Face Hub 或从中下载。
Hugging Face 深度强化学习简介
Hugging Face 发布了一个免费深度强化学习入门教程，涵盖核心 RL 概念、RL 框架、探索‑利用权衡、基于策略与基于价值的方法，以及深度神经网络在 RL 中的融合。
使用 Kili 和 HuggingFace AutoTrain 进行观点分类
Hugging Face 演示了如何使用 Kili 进行数据标注并利用 AutoTrain 自动化模型训练，构建文本分类的主动学习流水线。
Hugging Face 机器学习总监洞察 – 行业视角
Hugging Face 发布了一系列对六位机器学习总监的访谈，分享了 ML 如何在媒体、制药、科学、物流、营销和能源领域产生变革，同时突显了共同的挑战和未来机遇。
在 Habana Gaudi 上使用 Transformers 入门
Hugging Face 与 Habana Labs 合作，加速 Transformer 模型训练，相较于基于 GPU 的 Amazon EC2 实例，Habana Gaudi 加速器提供高达 40% 的性价比提升。
使用机器学习提升客户服务
Hugging Face 展示了如何使用微调的 DeBERTa-v3-base 模型以及 Transformers 和 Datasets 库来自动化过滤不满意的客户反馈。
Hugging Face 教育计划 2022 启动
Hugging Face 于 2022 年 4 月宣布了一项多轨教育计划，目标是在 2023 年底前向 500 万人教授机器学习，为学习者、教师以及更广泛的公众提供免费资源。
Hugging Face Hub 碳排放追踪
Hugging Face 引入了工具，以跟踪、报告和基于 CO2 排放量过滤机器学习模型，从而提升 AI 领域的环境透明度。
Lewis Tunstall 访谈 – Hugging Face 机器学习专家
Hugging Face 宣布了对机器学习工程师 Lewis Tunstall 的详细访谈，重点介绍了他在 Transformers 库上的工作、新出版的《NLP with Transformers》一书以及不断扩展的 Hugging Face 课程。
Habana Labs 与 Hugging Face 的变压器模型训练合作伙伴关系
Habana Labs 与 Hugging Face 已将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 库集成，以加速在 Habana Gaudi 处理器上进行变压器模型的训练。
Hugging Face Transformers 设计哲学
Hugging Face 为 Transformers 库采用了“一模型文件”政策，刻意摒弃 DRY（不要重复自己）原则，以优先保证可读性、社区贡献以及静态机器学习模型的稳定性。
Decision Transformer 在 Hugging Face Transformers 中的集成
Hugging Face 已将 Decision Transformer——一种将强化学习视为条件序列建模问题的离线强化学习方法——集成到 transformers 库和 Hugging Face Hub 中。
在现代 CPU 上扩展类 BERT 模型推理 - 第 2 部分
Hugging Face 探索了 Intel Ice Lake Xeon CPU 上类 BERT 模型的软件级优化，展示了内存分配器、并行化库和贝叶斯优化如何能显著降低推理延迟。
使用 Amazon SageMaker 轻松部署 Hugging Face 模型
Hugging Face 与 Amazon SageMaker 推出了新的推理深度学习容器（DLC）和推理工具包，以简化 Transformer 模型部署到生产就绪的端点。
Sentence Transformers 集成至 Hugging Face Hub
Hugging Face 已将 Sentence Transformers 集成到 Hub 中，为 100 多种语言提供了 90 多个预训练模型，并提供了用于特征提取和句子相似度的新交互式小部件。
使用 & 混合 Hugging Face 模型与 Gradio 2.0
Gradio 2.0 使机器学习开发者能够以单行代码加载和部署 Hugging Face 模型为 GUI，支持并行和串行模型组合。
在 CPU 上扩展 BERT 推理 (第 1 部分)
Hugging Face 探索了现代 CPU 上 BERT 推理的硬件级优化，证明了通过使用基于 NUMA 感知亲和性的多个独立模型实例并将其绑定到特定物理核心，可以实现吞吐量的线性扩展。
Hugging Face Accelerate 库发布
Hugging Face 发布了 Accelerate，这是一个 PyTorch 库，允许用户在任何设备配置（包括多 GPU 和 TPU）上运行原始训练脚本，而无需重写样板代码。
通过 Hugging Face 和 Amazon SageMaker 进行 BART 和 T5 的摘要生成分布式训练
Hugging Face 和 Amazon SageMaker 已经集成，以提供优化的深度学习容器和专用的 HuggingFace 估计器，从而简化 BART 和 T5 等 Transformers 模型的分布式训练。
理解 BigBird 的块稀疏注意力机制
BigBird 引入了块稀疏注意力机制，将 Transformer 的计算复杂度从二次方降低到线性，从而能够处理长达 4096 个 token 的序列。
Amazon SageMaker 与 Hugging Face 的合作伙伴关系
Hugging Face 与 Amazon 建立了合作伙伴关系，通过专门的深度学习容器 (DLCs) 和 Python SDK 扩展将 Hugging Face Transformers 集成到 Amazon SageMaker 中，以加速 NLP 模型的训练和部署。
在 Google Cloud 上部署 Serverless Transformers 流水线
Maxence Dominici 展示了如何使用 Hugging Face Transformers 和 Google Cloud Run 为低请求量、serverless 微服务部署情感分析流水线。
用 Hugging Face Transformers 微调 Wav2Vec2 以进行英语 ASR
Hugging Face 提供了一份详细的指南，介绍如何使用 Connectionist Temporal Classification（CTC）损失来微调 Wav2Vec2 预训练语音模型，以实现英语自动语音识别（ASR）。
Hugging Face 阅读：长程 Transformer
Hugging Face 分析了四种关键架构——Longformer、Compressive Transformer、Linformer 和 Performer——旨在将标准 Transformer 自注意力的二次方内存和时间复杂度降低为线性复杂度。
Hugging Face: 构建神经网络的简单注意事项
Hugging Face 提供了一个构建和调试神经网络的框架，通过优先考虑数据分析、简单的基准测试和严谨的实现检查，而不是盲目的超参数调优。
使用 Hugging Face Transformers 和 Ray 进行检索增强生成
Hugging Face 已将 Ray 集成到检索增强生成 (RAG) 模型的文档检索机制中，实现了检索调用 2 倍的加速，并提高了分布式微调的可扩展性。
Hugging Face PyTorch / XLA TPU 集成
Hugging Face 已将 PyTorch / XLA 集成，以使用现有的 Hugging Face Trainer 接口使 PyTorch 用户能够在 Cloud TPU 上训练和扩展 transformer 模型。
Hugging Face Transformers v4.2.0 TensorFlow 性能与推理服务更新
Hugging Face Transformers v4.2.0 为 TensorFlow 模型引入了显著的计算性能提升，并通过使用 SavedModel 格式通过 TensorFlow Serving 简化了部署流程。
Hugging Face Transformers 通过 DeepSpeed 和 FairScale 实现 ZeRO 集成
Hugging Face Transformers v4.2.0 引入了对 DeepSpeed 和 FairScale 的 ZeRO 优化的实验性支持，使得能够以更高的批次大小训练更大的模型，并降低 GPU 显存需求。
Hugging Face 加速推理 API 优化
Hugging Face 通过结合高层库优化、基于 Rust 的分词以及硬件特定编译，在其加速推理 API 中实现了 transformer 推理 100 倍的加速。
利用预训练语言模型检查点构建编码器-解码器模型 – Hugging Face 博客摘要
Hugging Face 的这篇博客文章解释了如何使用预训练的 BERT、RoBERTa 或 GPT2 检查点来热启动编码器-解码器模型，表明这种方法可以在降低训练成本的同时，达到大型预训练 seq2seq 模型的性能水平。
将 fairseq WMT19 翻译系统移植到 🤗 Transformers
Hugging Face 将 fairseq WMT19 翻译模型（en‑ru, ru‑en, de‑en, en‑de）移植到 🤗 Transformers 库，使用户能够使用标准的 Transformers API 加载并运行这些高质量的翻译模型。
Hugging Face Transformers 与 Ray Tune 集成
Hugging Face Transformers 3.1 引入了与 Ray Tune 的集成，使用户能够轻松实现诸如基于种群的训练 (Population-Based Training) 和贝叶斯优化 (Bayesian Optimization) 等先进的超参数调优算法。
基于 Transformer 的 Encoder-Decoder 模型 Hugging Face 博客文章 2020
Hugging Face 2020 年的博客文章解释了基于 Transformer 的 encoder-decoder 架构，详细介绍了它如何通过 encoder 和 decoder stack、self-attention、cross-attention 和自回归生成将输入序列映射为变长输出，并展示了如何结合 🤗Transformers 库使用它。
Hugging Face pytorch_block_sparse 发布
Hugging Face 发布了 pytorch_block_sparse，这是一个提供 BlockSparseLinear 模块的库，通过减少内存消耗并提高相对于标准 PyTorch 稀疏矩阵的计算效率，从而创建更小、更快的语言模型。
Reformer: 使用内存高效的 Transformers 推动语言建模的极限
Reformer 模型由 Hugging Face 在 2020 年 7 月提出，通过结合 LSH 自注意力、局部自注意力、分块前馈层、可逆残差和轴向位置编码，使得在少于 8 GB RAM 的情况下能够训练长度达五十万标记的序列。
Hugging Face 文本生成解码方法指南
Hugging Face 提供了自回归解码策略的全面概述，包括贪婪搜索、束搜索和采样（Top-K 和 Top-p），以优化 Transformer 中的开放式语言生成。
使用 Transformers 和 Tokenizers 从头开始训练语言模型
Hugging Face 提供了一份关于使用 Transformers 和 Tokenizers 库从头开始训练新语言模型的全面指南和演示，其特色是为世界语创建了 EsperBERTo 模型。