✷ 归档 · 11 个实验室 · 869 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
理解 BigBird 的块稀疏注意力机制
BigBird 引入了块稀疏注意力机制，将 Transformer 的计算复杂度从二次方降低到线性，从而能够处理长达 4096 个 token 的序列。
Amazon SageMaker 与 Hugging Face 的合作伙伴关系
Hugging Face 与 Amazon 建立了合作伙伴关系，通过专门的深度学习容器 (DLCs) 和 Python SDK 扩展将 Hugging Face Transformers 集成到 Amazon SageMaker 中，以加速 NLP 模型的训练和部署。
在 Google Cloud Run 上部署 Hugging Face Transformers 情感分析流水线
一位社区成员演示了如何使用 DistilBERT 模型在 Google Cloud Run 上提供 Hugging Face 情感分析流水线服务，实现了低于 5 秒的延迟并保持了极低的每月成本。
用 Hugging Face Transformers 微调 Wav2Vec2 以进行英语 ASR
Hugging Face 提供了一份详细的指南，介绍如何使用 Connectionist Temporal Classification（CTC）损失来微调 Wav2Vec2 预训练语音模型，以实现英语自动语音识别（ASR）。
Hugging Face 阅读：长程 Transformer
Hugging Face 分析了四种关键架构——Longformer、Compressive Transformer、Linformer 和 Performer——旨在将标准 Transformer 自注意力的二次方内存和时间复杂度降低为线性复杂度。
Hugging Face: 构建神经网络的简单注意事项
Hugging Face 提供了一个构建和调试神经网络的框架，通过优先考虑数据分析、简单的基准测试和严谨的实现检查，而不是盲目的超参数调优。
使用 Hugging Face Transformers 和 Ray 进行检索增强生成
Hugging Face 已将 Ray 集成到检索增强生成 (RAG) 模型的文档检索机制中，实现了检索调用 2 倍的加速，并提高了分布式微调的可扩展性。
Hugging Face PyTorch / XLA TPU 集成
Hugging Face 已将 PyTorch / XLA 集成，以使用现有的 Hugging Face Trainer 接口使 PyTorch 用户能够在 Cloud TPU 上训练和扩展 transformer 模型。
Hugging Face Transformers v4.2.0 TensorFlow 性能与推理服务更新
Hugging Face Transformers v4.2.0 为 TensorFlow 模型引入了显著的计算性能提升，并通过使用 SavedModel 格式通过 TensorFlow Serving 简化了部署流程。
Hugging Face Transformers 通过 DeepSpeed 和 FairScale 实现 ZeRO 集成
Hugging Face Transformers v4.2.0 引入了对 DeepSpeed 和 FairScale 的 ZeRO 优化的实验性支持，使得能够以更高的批次大小训练更大的模型，并降低 GPU 显存需求。
Hugging Face 加速推理 API 优化
Hugging Face 通过结合高层库优化、基于 Rust 的分词以及硬件特定编译，在其加速推理 API 中实现了 transformer 推理 100 倍的加速。
利用预训练语言模型检查点构建编码器-解码器模型 – Hugging Face 博客摘要
Hugging Face 的这篇博客文章解释了如何使用预训练的 BERT、RoBERTa 或 GPT2 检查点来热启动编码器-解码器模型，表明这种方法可以在降低训练成本的同时，达到大型预训练 seq2seq 模型的性能水平。
将 fairseq WMT19 翻译系统移植到 🤗 Transformers
Hugging Face 将 fairseq WMT19 翻译模型（en‑ru, ru‑en, de‑en, en‑de）移植到 🤗 Transformers 库，使用户能够使用标准的 Transformers API 加载并运行这些高质量的翻译模型。
Hugging Face Transformers 与 Ray Tune 集成
Hugging Face Transformers 3.1 引入了与 Ray Tune 的集成，使用户能够轻松实现诸如基于种群的训练 (Population-Based Training) 和贝叶斯优化 (Bayesian Optimization) 等先进的超参数调优算法。
基于 Transformer 的 Encoder-Decoder 模型 Hugging Face 博客文章 2020
Hugging Face 2020 年的博客文章解释了基于 Transformer 的 encoder-decoder 架构，详细介绍了它如何通过 encoder 和 decoder stack、self-attention、cross-attention 和自回归生成将输入序列映射为变长输出，并展示了如何结合 🤗Transformers 库使用它。
Hugging Face pytorch_block_sparse 发布
Hugging Face 发布了 pytorch_block_sparse，这是一个提供 BlockSparseLinear 模块的库，通过减少内存消耗并提高相对于标准 PyTorch 稀疏矩阵的计算效率，从而创建更小、更快的语言模型。
Reformer: 使用内存高效的 Transformers 推动语言建模的极限
Reformer 模型由 Hugging Face 在 2020 年 7 月提出，通过结合 LSH 自注意力、局部自注意力、分块前馈层、可逆残差和轴向位置编码，使得在少于 8 GB RAM 的情况下能够训练长度达五十万标记的序列。
Hugging Face 文本生成解码方法指南
Hugging Face 提供了自回归解码策略的全面概述，包括贪婪搜索、束搜索和采样（Top-K 和 Top-p），以优化 Transformer 中的开放式语言生成。
使用 Transformers 和 Tokenizers 从头开始训练语言模型
Hugging Face 提供了一份关于使用 Transformers 和 Tokenizers 库从头开始训练新语言模型的全面指南和演示，其特色是为世界语创建了 EsperBERTo 模型。