将 fairseq WMT19 翻译系统移植到 🤗 Transformers
Hugging Face 将 fairseq WMT19 翻译模型（en‑ru, ru‑en, de‑en, en‑de）移植到 🤗 Transformers 库，使用户能够使用标准的 Transformers API 加载并运行这些高质量的翻译模型。
Hugging Face Transformers 与 Ray Tune 集成
Hugging Face Transformers 3.1 引入了与 Ray Tune 的集成，使用户能够轻松实现诸如基于种群的训练 (Population-Based Training) 和贝叶斯优化 (Bayesian Optimization) 等先进的超参数调优算法。
基于 Transformer 的 Encoder-Decoder 模型 Hugging Face 博客文章 2020
Hugging Face 2020 年的博客文章解释了基于 Transformer 的 encoder-decoder 架构，详细介绍了它如何通过 encoder 和 decoder stack、self-attention、cross-attention 和自回归生成将输入序列映射为变长输出，并展示了如何结合 🤗Transformers 库使用它。
OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 已将其 GPT-3 语言模型技术授权给 Microsoft，以便集成到 Microsoft 的产品和服务中，同时为第三方开发者保留了独立的 API 访问权限。
Hugging Face pytorch_block_sparse 发布
Hugging Face 发布了 pytorch_block_sparse，这是一个提供 BlockSparseLinear 模块的库，通过减少内存消耗并提高相对于标准 PyTorch 稀疏矩阵的计算效率，从而创建更小、更快的语言模型。
生成式语言建模用于自动定理证明
OpenAI 推出 GPT-f，这是一种基于 Transformer 的语言模型，专为 Metamath 形式化语言设计，成功向主 Metamath 库贡献了新证明。
从人类反馈中学习摘要生成
OpenAI 表明，基于人类反馈的强化学习（RLHF）使得较小的语言模型在文本摘要任务中能够显著优于仅通过监督学习训练的更大模型。
OpenAI 学者计划 2020 最终项目
OpenAI 公布了 2020 学者计划的最终项目，展示了在神经网络可解释性、强化学习、语义解析和医学 AI 方面的研究成果。
Reformer: 使用内存高效的 Transformers 推动语言建模的极限
Reformer 模型由 Hugging Face 在 2020 年 7 月提出，通过结合 LSH 自注意力、局部自注意力、分块前馈层、可逆残差和轴向位置编码，使得在少于 8 GB RAM 的情况下能够训练长度达五十万标记的序列。
OpenAI Procgen and MineRL 竞赛
OpenAI 正在共同组织两项 NeurIPS 2020 竞赛，使用 Procgen Benchmark 和 MineRL 来推进强化学习的样本效率和泛化能力。
Image GPT
OpenAI 的 Image GPT (iGPT) 证明了在像素序列上训练的 transformer 模型可以生成连贯的图像并学习到具有竞争力的无监督视觉特征，而无需领域特定的架构先验。
OpenAI API 发布
OpenAI 已发布一个通用的文本输入、文本输出 API，提供对 GPT-3 系列模型的访问，以支持开发多样的 AI 驱动应用。
OpenAI GPT-3: 语言模型作为少样本学习者
OpenAI 推出了 GPT-3，一个具有 1750 亿参数的自回归语言模型，在各种 NLP 任务上展示了强大的少样本性能，而无需任务特定的微调。
OpenAI AI 与效率分析
OpenAI 的分析显示，自 2012 年以来，算法进步已使在相同性能水平下训练神经网络所需的计算量每 16 个月减少一半。
OpenAI Jukebox
OpenAI Jukebox 是一种能够生成原始音频音乐（包括初步歌声）的神经网络，可根据流派、艺术家和歌词进行条件控制。
OpenAI: 提高 AI 开发的可验证性
OpenAI 与多机构联盟提出十种机制，旨在帮助利益相关者验证 AI 系统是否遵循所声明的伦理原则和安全标准，以防止竞争中的偷工减料行为。
OpenAI Microscope: 神经网络可解释性工具
OpenAI Microscope 是一个可视化工具，它系统地可视化几种常用视觉模型中的每个神经元，以加速对神经网络逆向工程的研究。
Hugging Face 文本生成解码方法指南
Hugging Face 提供了自回归解码策略的全面概述，包括贪婪搜索、束搜索和采样（Top-K 和 Top-p），以优化 Transformer 中的开放式语言生成。
使用 Transformers 和 Tokenizers 从头开始训练语言模型
Hugging Face 提供了一份关于使用 Transformers 和 Tokenizers 库从头开始训练新语言模型的全面指南和演示，其特色是为世界语创建了 EsperBERTo 模型。
OpenAI 标准化使用 PyTorch
OpenAI 已将其深度学习框架标准化为 PyTorch，以提高研究效率并缩短生成式建模的迭代时间。
OpenAI 神经网络语言模型的缩放定律
OpenAI 研究人员发现，语言模型性能与模型规模、数据集规模和计算量之间遵循可预测的幂律关系，从而能够实现训练资源的最优分配。
OpenAI Five: Dota 2 强化学习
OpenAI Five 是第一个在电竞游戏中击败世界冠军的 AI 系统，证明了大规模自我博弈强化学习可以在复杂、连续的状态-动作空间中实现超人类的表现。
OpenAI 深度双重下降
OpenAI 研究人员证明，CNNs、ResNets 和 transformers 表现出双重下降现象，即随着模型大小、数据大小或训练时间的增加，性能会提高、下降，然后再次提高。
OpenAI Procgen Benchmark 发布
OpenAI 发布了 Procgen Benchmark，这是一套包含 16 个程序化生成环境的套件，旨在衡量强化学习智能体将技能泛化到未见过的关卡的能力。
OpenAI 在深度强化学习中对安全探索进行基准测试
OpenAI 推出了 Safety Gym 基准测试套件，旨在将受限强化学习标准化为高维连续控制环境中安全探索的主要形式化方法。
OpenAI Safety Gym 发布
OpenAI 发布了 Safety Gym，这是一套旨在衡量和提高强化学习智能体在训练过程中遵守安全约束能力的工具和环境套件。
GPT-2 1.5B 发布说明
OpenAI 已发布了拥有 15 亿参数的最大版本 GPT-2，完成了其分阶段发布过程，为负责任的 AI 发布提供了一个案例研究。
OpenAI 使用机器人手解决魔方
OpenAI 训练了一对神经网络，利用一种称为 Automatic Domain Randomization (ADR) 的新技术，使用类人机器人手解决魔方，并将模拟中学习到的技能转移到物理世界。
OpenAI Scholars 2020 项目申请
OpenAI 已开放其第三期 OpenAI Scholars 项目的申请，这是一个为期四个月的项目，向来自代表性不足群体的八个人提供津贴和指导，以学习深度学习。
微调 GPT-2 以适应人类偏好
OpenAI 使用人类反馈对 774M 参数的 GPT-2 模型进行微调，以改善风格化文本续写和摘要，发现人类标注者通常更倾向于准确复制而非新颖合成。
OpenAI 通过多智能体交互实现涌现式工具使用
OpenAI 研究人员发现，通过多智能体协同适应和 self-play，在模拟的捉迷藏游戏中，智能体开发出了六个不同层级的复杂工具使用和策略。
OpenAI 测试针对未知对手的鲁棒性
OpenAI 引入了一种新的指标——未知攻击鲁棒性 (UAR)，用于评估神经网络分类器在面对训练期间未遇到的对抗性攻击时的防御能力。
GPT-2 六个月跟进
OpenAI 发布了 774M 参数的 GPT-2 模型，并分享了关于合成文本风险、检测难度以及大型语言模型分阶段发布策略必要性的经验教训。
OpenAI Learning Day: 培养跨职能专业技能
OpenAI 实施 Learning Day，即每周周四的专门自学日，以促进跨职能技术成长并防止专业停滞。
Microsoft与OpenAI在AGI开发方面的合作伙伴关系
Microsoft向OpenAI投资了10亿美元，以在Azure上共同开发一个旨在扩展到创建有益的人工通用智能（AGI）的硬件和软件平台。
OpenAI AI 安全合作框架
OpenAI 提出了四项策略，通过促进全行业在安全规范和标准方面的合作，来防止 AI 开发中的集体行动问题。
OpenAI 机器人研讨会 2019
OpenAI 于 2019 年 4 月 27 日举办了首次机器人研讨会，汇聚了机器人和机器学习领域的专家，讨论学习型机器人的发展。
OpenAI 学者 2019 年最终项目
OpenAI 发布了 2019 年 OpenAI 学者项目的最终项目摘要，展示了深度学习、强化学习和 NLP 在各个领域的多样化应用。
OpenAI Fellows 2018 年秋季最终项目
OpenAI 宣布其第二届 OpenAI Fellows 完成结业，所有六名参与者在为期六个月的学徒期后转为全职技术人员。
OpenAI 研究：不同扰动类型之间的对抗鲁棒性迁移
OpenAI 研究人员发现，对抗鲁棒性并不会在不同扰动类型之间一致地迁移，这表明防御措施必须针对多种不同的攻击向量进行评估，才能真正发挥作用。
OpenAI MuseNet
MuseNet 是一种深度神经网络，能够通过学习来自数十万个 MIDI 文件的和声、节奏和风格模式，生成跨越 10 种乐器的 4 分钟音乐作品。
OpenAI Sparse Transformer
OpenAI 推出了 Sparse Transformer，这是一种深度神经网络，通过将算法复杂度从 $O(N^2)$ 降低到 $O(N \sqrt{N})$，使用重新设计的注意力机制来建模比以往 Transformer 比长 30 倍的序列。
OpenAI Five 击败 Dota 2 世界冠军
OpenAI Five 成为第一个在现场直播比赛中击败电竞世界冠军的 AI，在与 Dota 2 战队 OG 的两场连续对决中赢得了两场胜利。
OpenAI Five 终局赛事公告
OpenAI 宣布将于 2019 年 4 月 13 日举办 OpenAI Five 的现场终局活动，以展示其《Dota 2》AI 的能力、可扩展性和人机交互特性。
基于能量的模型（EBMs）的隐式生成与泛化方法
OpenAI 研究人员开发了用于能量模型（EBMs）的稳定且可扩展的训练方法，实现了高质量的图像生成，并且与基于似然的模型相比，具有更优越的分布外泛化能力。
OpenAI LP：向限额利润结构的转变
OpenAI 宣布成立 OpenAI LP，这是一家混合型限额利润公司，旨在为计算资源和人才筹集数十亿美元的资本，同时确保安全 AGI 的核心使命惠及全人类。
OpenAI Activation Atlases
OpenAI 与 Google 研究人员推出了 Activation Atlases，这是一种通过映射神经元之间的相互作用来揭示神经网络如何表示概念并识别决策弱点的可视化技术。
Neural MMO: 一个大规模多智能体游戏环境
OpenAI 发布了 Neural MMO，这是一个为强化学习智能体设计的持久、大规模环境，展示了增加种群规模和物种多样性如何驱动探索和生态位形成。
OpenAI Spinning Up in Deep RL 工作坊回顾
OpenAI 基于其 Spinning Up in Deep RL 资源包举办了一场工作坊，旨在为多样化的参与者群体扩展强化学习领域的指导和技能开发。
AI 安全需要社会科学家
OpenAI 认为，长期的 AI 安全和对齐需要整合社会科学，以应对人类的认知偏见和人类价值观的复杂性。