在 Google Cloud Run 上部署 Hugging Face Transformers 情感分析流水线
一位社区成员演示了如何使用 DistilBERT 模型在 Google Cloud Run 上提供 Hugging Face 情感分析流水线服务，实现了低于 5 秒的延迟并保持了极低的每月成本。
用 Hugging Face Transformers 微调 Wav2Vec2 以进行英语 ASR
Hugging Face 提供了一份详细的指南，介绍如何使用 Connectionist Temporal Classification（CTC）损失来微调 Wav2Vec2 预训练语音模型，以实现英语自动语音识别（ASR）。
Hugging Face 阅读：长程 Transformer
Hugging Face 分析了四种关键架构——Longformer、Compressive Transformer、Linformer 和 Performer——旨在将标准 Transformer 自注意力的二次方内存和时间复杂度降低为线性复杂度。
CLIP 中的多模态神经元
OpenAI 在 CLIP 中发现了神经元，无论概念是以字面、符号还是概念形式呈现，这些神经元都会对同一概念做出响应，这反映了人类大脑中的多模态神经元。
Hugging Face: 构建神经网络的简单注意事项
Hugging Face 提供了一个构建和调试神经网络的框架，通过优先考虑数据分析、简单的基准测试和严谨的实现检查，而不是盲目的超参数调优。
使用 Hugging Face Transformers 和 Ray 进行检索增强生成
Hugging Face 已将 Ray 集成到检索增强生成 (RAG) 模型的文档检索机制中，实现了检索调用 2 倍的加速，并提高了分布式微调的可扩展性。
Hugging Face PyTorch / XLA TPU 集成
Hugging Face 已将 PyTorch / XLA 集成，以使用现有的 Hugging Face Trainer 接口使 PyTorch 用户能够在 Cloud TPU 上训练和扩展 transformer 模型。
理解大语言模型的能力、局限性及其社会影响
OpenAI 总结了一场多学科研讨会，探讨了与 GPT-3 及其他大语言模型相关的技术边界和社会风险。
Hugging Face Transformers v4.2.0 TensorFlow 性能与推理服务更新
Hugging Face Transformers v4.2.0 为 TensorFlow 模型引入了显著的计算性能提升，并通过使用 SavedModel 格式通过 TensorFlow Serving 简化了部署流程。
OpenAI 将 Kubernetes 扩展至 7,500 个节点
OpenAI 将单个 Kubernetes 集群扩展至 7,500 个节点，为机器学习研究提供了一个简单且可扩展的基础设施，并克服了网络、API server 负载和监控方面的挑战。
Hugging Face Transformers 通过 DeepSpeed 和 FairScale 实现 ZeRO 集成
Hugging Face Transformers v4.2.0 引入了对 DeepSpeed 和 FairScale 的 ZeRO 优化的实验性支持，使得能够以更高的批次大小训练更大的模型，并降低 GPU 显存需求。
Hugging Face 加速推理 API 优化
Hugging Face 通过结合高层库优化、基于 Rust 的分词以及硬件特定编译，在其加速推理 API 中实现了 transformer 推理 100 倍的加速。
CLIP: 连接文本与图像
OpenAI 推出了 CLIP，这是一种通过自然语言监督来学习视觉概念的神经网络，从而能够在各种不同数据集上实现 zero-shot 图像分类。
DALL·E: 从文本创建图像
OpenAI 推出了 DALL·E，这是一个拥有 120 亿参数的 transformer 模型，通过将图像和文本视为单一的 token 流，能够从文本描述中生成多样化的图像。
OpenAI 组织架构更新 2020年12月
OpenAI 宣布了研究副总裁 Dario Amodei 的离职，并任命 Mira Murati 为研究、产品和合作伙伴高级副总裁，以更好地整合安全与产品开发。
利用预训练语言模型检查点构建编码器-解码器模型 – Hugging Face 博客摘要
Hugging Face 的这篇博客文章解释了如何使用预训练的 BERT、RoBERTa 或 GPT2 检查点来热启动编码器-解码器模型，表明这种方法可以在降低训练成本的同时，达到大型预训练 seq2seq 模型的性能水平。
将 fairseq WMT19 翻译系统移植到 🤗 Transformers
Hugging Face 将 fairseq WMT19 翻译模型（en‑ru, ru‑en, de‑en, en‑de）移植到 🤗 Transformers 库，使用户能够使用标准的 Transformers API 加载并运行这些高质量的翻译模型。
Hugging Face Transformers 与 Ray Tune 集成
Hugging Face Transformers 3.1 引入了与 Ray Tune 的集成，使用户能够轻松实现诸如基于种群的训练 (Population-Based Training) 和贝叶斯优化 (Bayesian Optimization) 等先进的超参数调优算法。
基于 Transformer 的 Encoder-Decoder 模型 Hugging Face 博客文章 2020
Hugging Face 2020 年的博客文章解释了基于 Transformer 的 encoder-decoder 架构，详细介绍了它如何通过 encoder 和 decoder stack、self-attention、cross-attention 和自回归生成将输入序列映射为变长输出，并展示了如何结合 🤗Transformers 库使用它。
OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 已将其 GPT-3 语言模型技术授权给 Microsoft，以便集成到 Microsoft 的产品和服务中，同时为第三方开发者保留了独立的 API 访问权限。
Hugging Face pytorch_block_sparse 发布
Hugging Face 发布了 pytorch_block_sparse，这是一个提供 BlockSparseLinear 模块的库，通过减少内存消耗并提高相对于标准 PyTorch 稀疏矩阵的计算效率，从而创建更小、更快的语言模型。
生成式语言建模用于自动定理证明
OpenAI 推出 GPT-f，这是一种基于 Transformer 的语言模型，专为 Metamath 形式化语言设计，成功向主 Metamath 库贡献了新证明。
从人类反馈中学习摘要生成
OpenAI 表明，基于人类反馈的强化学习（RLHF）使得较小的语言模型在文本摘要任务中能够显著优于仅通过监督学习训练的更大模型。
OpenAI 学者计划 2020 最终项目
OpenAI 公布了 2020 学者计划的最终项目，展示了在神经网络可解释性、强化学习、语义解析和医学 AI 方面的研究成果。
Reformer: 使用内存高效的 Transformers 推动语言建模的极限
Reformer 模型由 Hugging Face 在 2020 年 7 月提出，通过结合 LSH 自注意力、局部自注意力、分块前馈层、可逆残差和轴向位置编码，使得在少于 8 GB RAM 的情况下能够训练长度达五十万标记的序列。
OpenAI Procgen and MineRL 竞赛
OpenAI 正在共同组织两项 NeurIPS 2020 竞赛，使用 Procgen Benchmark 和 MineRL 来推进强化学习的样本效率和泛化能力。
Image GPT
OpenAI 的 Image GPT (iGPT) 证明了在像素序列上训练的 transformer 模型可以生成连贯的图像并学习到具有竞争力的无监督视觉特征，而无需领域特定的架构先验。
OpenAI API 发布
OpenAI 已发布一个通用的文本输入、文本输出 API，提供对 GPT-3 系列模型的访问，以支持开发多样的 AI 驱动应用。
OpenAI GPT-3: 语言模型作为少样本学习者
OpenAI 推出了 GPT-3，一个具有 1750 亿参数的自回归语言模型，在各种 NLP 任务上展示了强大的少样本性能，而无需任务特定的微调。
OpenAI AI 与效率分析
OpenAI 的分析显示，自 2012 年以来，算法进步已使在相同性能水平下训练神经网络所需的计算量每 16 个月减少一半。
OpenAI Jukebox
OpenAI Jukebox 是一种能够生成原始音频音乐（包括初步歌声）的神经网络，可根据流派、艺术家和歌词进行条件控制。
OpenAI: 提高 AI 开发的可验证性
OpenAI 与多机构联盟提出十种机制，旨在帮助利益相关者验证 AI 系统是否遵循所声明的伦理原则和安全标准，以防止竞争中的偷工减料行为。
OpenAI Microscope: 神经网络可解释性工具
OpenAI Microscope 是一个可视化工具，它系统地可视化几种常用视觉模型中的每个神经元，以加速对神经网络逆向工程的研究。
Hugging Face 文本生成解码方法指南
Hugging Face 提供了自回归解码策略的全面概述，包括贪婪搜索、束搜索和采样（Top-K 和 Top-p），以优化 Transformer 中的开放式语言生成。
使用 Transformers 和 Tokenizers 从头开始训练语言模型
Hugging Face 提供了一份关于使用 Transformers 和 Tokenizers 库从头开始训练新语言模型的全面指南和演示，其特色是为世界语创建了 EsperBERTo 模型。
OpenAI 标准化使用 PyTorch
OpenAI 已将其深度学习框架标准化为 PyTorch，以提高研究效率并缩短生成式建模的迭代时间。
OpenAI 神经网络语言模型的缩放定律
OpenAI 研究人员发现，语言模型性能与模型规模、数据集规模和计算量之间遵循可预测的幂律关系，从而能够实现训练资源的最优分配。
OpenAI Five: Dota 2 强化学习
OpenAI Five 是第一个在电竞游戏中击败世界冠军的 AI 系统，证明了大规模自我博弈强化学习可以在复杂、连续的状态-动作空间中实现超人类的表现。
OpenAI 深度双重下降
OpenAI 研究人员证明，CNNs、ResNets 和 transformers 表现出双重下降现象，即随着模型大小、数据大小或训练时间的增加，性能会提高、下降，然后再次提高。
OpenAI Procgen Benchmark 发布
OpenAI 发布了 Procgen Benchmark，这是一套包含 16 个程序化生成环境的套件，旨在衡量强化学习智能体将技能泛化到未见过的关卡的能力。
OpenAI 在深度强化学习中对安全探索进行基准测试
OpenAI 推出了 Safety Gym 基准测试套件，旨在将受限强化学习标准化为高维连续控制环境中安全探索的主要形式化方法。
OpenAI Safety Gym 发布
OpenAI 发布了 Safety Gym，这是一套旨在衡量和提高强化学习智能体在训练过程中遵守安全约束能力的工具和环境套件。
GPT-2 1.5B 发布说明
OpenAI 已发布了拥有 15 亿参数的最大版本 GPT-2，完成了其分阶段发布过程，为负责任的 AI 发布提供了一个案例研究。
OpenAI 使用机器人手解决魔方
OpenAI 训练了一对神经网络，利用一种称为 Automatic Domain Randomization (ADR) 的新技术，使用类人机器人手解决魔方，并将模拟中学习到的技能转移到物理世界。
OpenAI Scholars 2020 项目申请
OpenAI 已开放其第三期 OpenAI Scholars 项目的申请，这是一个为期四个月的项目，向来自代表性不足群体的八个人提供津贴和指导，以学习深度学习。
微调 GPT-2 以适应人类偏好
OpenAI 使用人类反馈对 774M 参数的 GPT-2 模型进行微调，以改善风格化文本续写和摘要，发现人类标注者通常更倾向于准确复制而非新颖合成。
OpenAI 通过多智能体交互实现涌现式工具使用
OpenAI 研究人员发现，通过多智能体协同适应和 self-play，在模拟的捉迷藏游戏中，智能体开发出了六个不同层级的复杂工具使用和策略。
OpenAI 测试针对未知对手的鲁棒性
OpenAI 引入了一种新的指标——未知攻击鲁棒性 (UAR)，用于评估神经网络分类器在面对训练期间未遇到的对抗性攻击时的防御能力。
GPT-2 六个月跟进
OpenAI 发布了 774M 参数的 GPT-2 模型，并分享了关于合成文本风险、检测难度以及大型语言模型分阶段发布策略必要性的经验教训。
OpenAI Learning Day: 培养跨职能专业技能
OpenAI 实施 Learning Day，即每周周四的专门自学日，以促进跨职能技术成长并防止专业停滞。