Stable-Baselines3 与 Hugging Face Hub 的集成
Hugging Face 已集成 Stable-Baselines3，允许用户直接从 Hugging Face Hub 托管、共享和加载 PyTorch 深度强化学习模型。
Hugging Face Infinity CPU 性能案例研究
Hugging Face Infinity 在 Intel Ice Lake Xeon CPU 上实现的吞吐量比 vanilla Transformers 高出多达 800%，并具有毫秒级延迟，从而实现了在 CPU 基础设施上进行具有成本效益的实时 Transformer 部署。
在 Hugging Face Transformers 中使用 n-grams 增强 Wav2Vec2
Hugging Face 已将 pyctcdecode 库集成到 Transformers 库中，使 Wav2Vec2 模型能够通过 n-gram 语言模型进行增强，从而显著减少拼写错误和词错率 (WER)。
使用 Hugging Face Transformers 在 Amazon SageMaker 上部署 GPT-J 6B
Hugging Face 提供了一种在 Amazon SageMaker 上部署 EleutherAI 的 GPT-J 6B 模型的方法，通过使用 torch.save 将模型加载时间从超过三分钟降低到不到八秒。
使用 AutoNLP 和 Prodigy 进行主动学习
Hugging Face 展示了如何通过结合 AutoNLP 自动化训练框架与 Prodigy 标注工具，为命名实体识别 (NER) 构建主动学习流水线。
Hugging Face 收购 Gradio
Hugging Face 已收购 Gradio，旨在将其易于构建的机器学习演示和 GUI 集成到其生态系统中，从而扩大非技术用户对机器学习的可访问性。
WebGPT: 通过 Web 浏览提高 GPT-3 的事实准确性
OpenAI 将 GPT-3 微调为 WebGPT，这是一个使用基于文本的 Web 浏览器进行研究并引用来源的原型，从而减少了在回答开放式问题时的幻觉现象。
Perceiver IO: 一种适用于任何模态的可扩展、全注意力模型
Perceiver IO 是一种基于 Transformer 的架构，通过使用潜空间将计算量与输入大小解耦，使其能够处理文本、图像、音频、视频和点云，而不会产生二次方扩展问题。
为您的应用定制 GPT-3
OpenAI 发布了 GPT-3 的微调功能，允许开发者在私有数据上训练模型，以提高可靠性、降低成本并改善延迟。
从零开始训练 CodeParrot
Hugging Face 推出了 CodeParrot，这是一个基于 GPT-2 的模型，从零开始在清理后的 2000 万 Python 文件数据集上进行训练，以实现 Python 代码自动补全。
Hugging Face 雪球大战 ML-Agents 环境
Hugging Face 已发布 Snowball Fight 1vs1，这是其首个基于 Unity ML-Agents 构建的自定义深度强化学习环境，并托管在 Hugging Face Spaces 上。
OpenAI Residency Program Announcement
OpenAI推出了OpenAI Residency，这是一个为期六个月的有薪项目，旨在将来自其他领域的研究人员和工程师转型为公司内的全职AI角色。
Hugging Face Optimum 用于 Graphcore IPU 集成
Hugging Face 已将 Optimum 库与 Graphcore Intelligence Processing Units (IPUs) 集成，以加速 Transformer 模型，并从优化的 BERT 实现开始。
Hugging Face Data Measurements Tool
Hugging Face 发布了 Data Measurements Tool，这是一个开源的 Python 库和无代码界面，旨在帮助开发者分析、策划和比较机器学习数据集，以实现更负责任的 AI 开发。
使用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 展示了如何通过在 Intel Xeon 可扩展 CPU 服务器集群上使用 Intel Extension for PyTorch 和 oneCCL 分布式微调作业来加速 PyTorch 训练。
OpenAI API Access: GPT-3 Waitlist Removed
OpenAI 已移除 GPT-3 API 的候补名单，允许支持国家的开发者立即注册并开始尝试。
为低资源自动语音识别微调 XLS-R
Hugging Face 提供了一份关于如何使用 Transformers 库微调跨语言语音表示模型 XLS-R，以实现低资源自动语音识别 (ASR) 的技术指南。
在现代 CPU 上扩展类 BERT 模型推理 - 第 2 部分
Hugging Face 探索了 Intel Ice Lake Xeon CPU 上类 BERT 模型的软件级优化，展示了内存分配器、并行化库和贝叶斯优化如何能显著降低推理延迟。
OpenAI 解决数学应用题与 GSM8K 数据集
OpenAI 开发了一套使用训练过的验证器来解决小学数学应用题的系统，其准确率几乎是经过微调的 GPT-3 的两倍，实现了 55% 的准确率，而 9-12 岁儿童的准确率为 60%。
Hugging Face 课程第二部分及社区活动发布
Hugging Face 于 2021 年 11 月 15 日宣布发布 Hugging Face 课程的第二部分，并举办了一场包含技术演讲和动手实践项目的社区活动。
大语言模型：一个新的摩尔定律？
Hugging Face 批评了模型规模呈指数级增长的趋势（例如拥有 530B 参数的 Megatron-Turing NLG），并提倡使用蒸馏和微调等务实、高效的替代方案。
Hugging Face 使用 10 亿训练对开发的句子嵌入模型
Hugging Face 通过使用 JAX/Flax 和 TPU 基础设施，在多达 10 亿个句子对上进行训练，开发出了最先进的通用句子嵌入模型。
Hugging Face: 机器学习即代码时代
Hugging Face 主张通过采用 MLOps、利用通用型 Transformer 架构，并优先考虑生产部署而非沙盒实验，将机器学习视为一门软件工程学科。
为遥感和卫星图像微调 CLIP
研究人员利用 RSICD 数据集和其他卫星图像对 OpenAI 的 CLIP 模型进行了微调，从而显著提高了遥感应用中的文本到图像检索性能。
Hugging Face Spaces 与 Gradio 集成
Hugging Face 已将 Gradio 集成到 Spaces 中，允许用户使用 Inference API 或自定义模型检查点轻松地托管和展示机器学习模型演示。
使用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集
Hugging Face Spaces 通过与 Streamlit 集成，允许用户快速构建并托管机器学习模型和数据可视化的交互式演示。
Hugging Face Summer 2021 Update
Hugging Face 宣布了一系列 Hub 增强功能，包括用于 ML 演示托管的 Spaces Beta、TensorBoard 集成以及用于硬件加速的 Optimum 库的发布。
OpenAI 通过人类反馈对书籍进行总结 (2021)
OpenAI 提出了一种技术，该技术将人类反馈的强化学习与递归任务分解相结合，以生成整本书的摘要，从而解决了在难以评估的任务上监督人工智能的对齐挑战。
Hugging Face Optimum 发布
Hugging Face 推出了 Optimum，这是一个开源工具包，旨在针对各种硬件平台优化 Transformer 模型的生产性能。
Hugging Face 与 Graphcore 合作推出针对 IPU 优化的 Transformers
Hugging Face 与 Graphcore 达成合作伙伴关系，通过 Hardware Partner Program 和 Optimum 库将 Intelligence Processing Units (IPUs) 集成到 Hugging Face 生态系统中，以加速 Transformer 模型的部署。
TruthfulQA: 衡量模型如何模仿人类的谬误
OpenAI 推出了 TruthfulQA，这是一个旨在衡量语言模型是否在 38 个类别中模仿常见的人类误解和谬误的基准测试。
Helen Toner 加入 OpenAI 董事会
OpenAI 于 2021 年 9 月 8 日任命 AI 政策与全球战略专家 Helen Toner 为其董事会成员，以加强其对安全且负责任的 AI 部署的承诺。
OpenAI Codex: 用于代码生成的 GPT-3 后裔
OpenAI Codex 是 GPT-3 的后裔，它在自然语言和数十亿行公开源代码上进行了训练，能够根据英语指令生成可运行的代码。
OpenAI Triton 1.0 发布
OpenAI 发布了 Triton 1.0，这是一种开源的类 Python 语言和编译器，允许研究人员在无需深厚 CUDA 知识的情况下编写高效的 GPU 内核。
Hugging Face DeDLOC: 通过互联网进行语言模型的协作训练"}],
Hugging Face 推出了 DeDLOC，这是一种分布式训练方法，通过适应不同的网络和硬件约束，使志愿者能够协作式地在互联网上预训练大型语言模型。
spaCy 与 Hugging Face Hub 集成
Hugging Face 已将 spaCy 集成到 Hugging Face Hub，使用户能够通过统一平台共享、发现和部署 spaCy 流水线。
使用 Amazon SageMaker 轻松部署 Hugging Face 模型
Hugging Face 与 Amazon SageMaker 推出了新的推理深度学习容器（DLC）和推理工具包，以简化 Transformer 模型部署到生产就绪的端点。
评估在代码上训练的大语言模型：OpenAI Codex
OpenAI 推出了 Codex，这是一个在 GitHub 代码上进行微调的 GPT 模型，它在单次尝试中解决了 28.8% 的 HumanEval 问题，通过重复采样，成功率可达 70.2%。
Sentence Transformers 集成至 Hugging Face Hub
Hugging Face 已将 Sentence Transformers 集成到 Hub 中，为 100 多种语言提供了 90 多个预训练模型，并提供了用于特征提取和句子相似度的新交互式小部件。
OpenAI 研究：通过精选数据集微调改进语言模型行为
OpenAI 研究人员发现，通过在少于 100 个样本的精选小规模数据集上进行微调，可以显著提高模型对特定行为价值观的遵循程度，且不会损害下游任务的性能。
使用 GPT-Neo 和 Hugging Face Accelerated Inference API 进行少样本学习
Hugging Face 探讨了使用开源 GPT-Neo 模型和 Accelerated Inference API 应用少样本学习，以实现在无需大量标注数据的情况下实现任务泛化。
使用 & 混合 Hugging Face 模型与 Gradio 2.0
Gradio 2.0 使机器学习开发者能够以单行代码加载和部署 Hugging Face 模型为 GUI，支持并行和串行模型组合。
OpenAI 学者计划 2021：最终项目
OpenAI 公布了 2021 年学者计划的最终项目，展示了来自多元化研究者群体的规模定律、奖励建模和强化学习等方向的研究。
Will Hurd 加入 OpenAI 董事会
OpenAI 任命前美国国会议员 Will Hurd 加入其董事会，以将公共政策专业知识与技术 AI 开发相结合。
在 CPU 上扩展 BERT 推理 (第 1 部分)
Hugging Face 探索了现代 CPU 上 BERT 推理的硬件级优化，证明了通过使用基于 NUMA 感知亲和性的多个独立模型实例并将其绑定到特定物理核心，可以实现吞吐量的线性扩展。
Hugging Face Accelerate 库发布
Hugging Face 发布了 Accelerate，这是一个 PyTorch 库，允许用户在任何设备配置（包括多 GPU 和 TPU）上运行原始训练脚本，而无需重写样板代码。
通过 Hugging Face 和 Amazon SageMaker 进行 BART 和 T5 的摘要生成分布式训练
Hugging Face 和 Amazon SageMaker 已经集成，以提供优化的深度学习容器和专用的 HuggingFace 估计器，从而简化 BART 和 T5 等 Transformers 模型的分布式训练。
理解 BigBird 的块稀疏注意力机制
BigBird 引入了块稀疏注意力机制，将 Transformer 的计算复杂度从二次方降低到线性，从而能够处理长达 4096 个 token 的序列。
GPT-3 API 生态系统与应用增长
OpenAI 报告称，超过 300 个应用和数万名开发者正在使用 GPT-3 在各行各业每天生成平均 45 亿个单词。
Amazon SageMaker 与 Hugging Face 的合作伙伴关系
Hugging Face 与 Amazon 建立了合作伙伴关系，通过专门的深度学习容器 (DLCs) 和 Python SDK 扩展将 Hugging Face Transformers 集成到 Amazon SageMaker 中，以加速 NLP 模型的训练和部署。