Hugging Face Data Measurements Tool
Hugging Face 发布了 Data Measurements Tool，这是一个开源的 Python 库和无代码界面，旨在帮助开发者分析、策划和比较机器学习数据集，以实现更负责任的 AI 开发。
使用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 展示了如何通过在 Intel Xeon 可扩展 CPU 服务器集群上使用 Intel Extension for PyTorch 和 oneCCL 分布式微调作业来加速 PyTorch 训练。
OpenAI API Access: GPT-3 Waitlist Removed
OpenAI 已移除 GPT-3 API 的候补名单，允许支持国家的开发者立即注册并开始尝试。
为低资源自动语音识别微调 XLS-R
Hugging Face 提供了一份关于如何使用 Transformers 库微调跨语言语音表示模型 XLS-R，以实现低资源自动语音识别 (ASR) 的技术指南。
在现代 CPU 上扩展类 BERT 模型推理 - 第 2 部分
Hugging Face 探索了 Intel Ice Lake Xeon CPU 上类 BERT 模型的软件级优化，展示了内存分配器、并行化库和贝叶斯优化如何能显著降低推理延迟。
OpenAI 解决数学应用题与 GSM8K 数据集
OpenAI 开发了一套使用训练过的验证器来解决小学数学应用题的系统，其准确率几乎是经过微调的 GPT-3 的两倍，实现了 55% 的准确率，而 9-12 岁儿童的准确率为 60%。
Hugging Face 课程第二部分及社区活动发布
Hugging Face 于 2021 年 11 月 15 日宣布发布 Hugging Face 课程的第二部分，并举办了一场包含技术演讲和动手实践项目的社区活动。
大语言模型：一个新的摩尔定律？
Hugging Face 批评了模型规模呈指数级增长的趋势（例如拥有 530B 参数的 Megatron-Turing NLG），并提倡使用蒸馏和微调等务实、高效的替代方案。
Hugging Face 使用 10 亿训练对开发的句子嵌入模型
Hugging Face 通过使用 JAX/Flax 和 TPU 基础设施，在多达 10 亿个句子对上进行训练，开发出了最先进的通用句子嵌入模型。
Hugging Face: 机器学习即代码时代
Hugging Face 主张通过采用 MLOps、利用通用型 Transformer 架构，并优先考虑生产部署而非沙盒实验，将机器学习视为一门软件工程学科。
为遥感和卫星图像微调 CLIP
研究人员利用 RSICD 数据集和其他卫星图像对 OpenAI 的 CLIP 模型进行了微调，从而显著提高了遥感应用中的文本到图像检索性能。
Hugging Face Spaces 与 Gradio 集成
Hugging Face 已将 Gradio 集成到 Spaces 中，允许用户使用 Inference API 或自定义模型检查点轻松地托管和展示机器学习模型演示。
使用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集
Hugging Face Spaces 通过与 Streamlit 集成，允许用户快速构建并托管机器学习模型和数据可视化的交互式演示。
Hugging Face Summer 2021 Update
Hugging Face 宣布了一系列 Hub 增强功能，包括用于 ML 演示托管的 Spaces Beta、TensorBoard 集成以及用于硬件加速的 Optimum 库的发布。
OpenAI 通过人类反馈对书籍进行总结 (2021)
OpenAI 提出了一种技术，该技术将人类反馈的强化学习与递归任务分解相结合，以生成整本书的摘要，从而解决了在难以评估的任务上监督人工智能的对齐挑战。
Hugging Face Optimum 发布
Hugging Face 推出了 Optimum，这是一个开源工具包，旨在针对各种硬件平台优化 Transformer 模型的生产性能。
Hugging Face 与 Graphcore 合作推出针对 IPU 优化的 Transformers
Hugging Face 与 Graphcore 达成合作伙伴关系，通过 Hardware Partner Program 和 Optimum 库将 Intelligence Processing Units (IPUs) 集成到 Hugging Face 生态系统中，以加速 Transformer 模型的部署。
TruthfulQA: 衡量模型如何模仿人类的谬误
OpenAI 推出了 TruthfulQA，这是一个旨在衡量语言模型是否在 38 个类别中模仿常见的人类误解和谬误的基准测试。
Helen Toner 加入 OpenAI 董事会
OpenAI 于 2021 年 9 月 8 日任命 AI 政策与全球战略专家 Helen Toner 为其董事会成员，以加强其对安全且负责任的 AI 部署的承诺。
OpenAI Codex: 用于代码生成的 GPT-3 后裔
OpenAI Codex 是 GPT-3 的后裔，它在自然语言和数十亿行公开源代码上进行了训练，能够根据英语指令生成可运行的代码。
OpenAI Triton 1.0 发布
OpenAI 发布了 Triton 1.0，这是一种开源的类 Python 语言和编译器，允许研究人员在无需深厚 CUDA 知识的情况下编写高效的 GPU 内核。
Hugging Face DeDLOC: 通过互联网进行语言模型的协作训练"}],
Hugging Face 推出了 DeDLOC，这是一种分布式训练方法，通过适应不同的网络和硬件约束，使志愿者能够协作式地在互联网上预训练大型语言模型。
spaCy 与 Hugging Face Hub 集成
Hugging Face 已将 spaCy 集成到 Hugging Face Hub，使用户能够通过统一平台共享、发现和部署 spaCy 流水线。
使用 Amazon SageMaker 轻松部署 Hugging Face 模型
Hugging Face 与 Amazon SageMaker 推出了新的推理深度学习容器（DLC）和推理工具包，以简化 Transformer 模型部署到生产就绪的端点。
评估在代码上训练的大语言模型：OpenAI Codex
OpenAI 推出了 Codex，这是一个在 GitHub 代码上进行微调的 GPT 模型，它在单次尝试中解决了 28.8% 的 HumanEval 问题，通过重复采样，成功率可达 70.2%。
Sentence Transformers 集成至 Hugging Face Hub
Hugging Face 已将 Sentence Transformers 集成到 Hub 中，为 100 多种语言提供了 90 多个预训练模型，并提供了用于特征提取和句子相似度的新交互式小部件。
OpenAI 研究：通过精选数据集微调改进语言模型行为
OpenAI 研究人员发现，通过在少于 100 个样本的精选小规模数据集上进行微调，可以显著提高模型对特定行为价值观的遵循程度，且不会损害下游任务的性能。
使用 GPT-Neo 和 Hugging Face Accelerated Inference API 进行少样本学习
Hugging Face 探讨了使用开源 GPT-Neo 模型和 Accelerated Inference API 应用少样本学习，以实现在无需大量标注数据的情况下实现任务泛化。
使用 & 混合 Hugging Face 模型与 Gradio 2.0
Gradio 2.0 使机器学习开发者能够以单行代码加载和部署 Hugging Face 模型为 GUI，支持并行和串行模型组合。
OpenAI 学者计划 2021：最终项目
OpenAI 公布了 2021 年学者计划的最终项目，展示了来自多元化研究者群体的规模定律、奖励建模和强化学习等方向的研究。
Will Hurd 加入 OpenAI 董事会
OpenAI 任命前美国国会议员 Will Hurd 加入其董事会，以将公共政策专业知识与技术 AI 开发相结合。
在 CPU 上扩展 BERT 推理 (第 1 部分)
Hugging Face 探索了现代 CPU 上 BERT 推理的硬件级优化，证明了通过使用基于 NUMA 感知亲和性的多个独立模型实例并将其绑定到特定物理核心，可以实现吞吐量的线性扩展。
Hugging Face Accelerate 库发布
Hugging Face 发布了 Accelerate，这是一个 PyTorch 库，允许用户在任何设备配置（包括多 GPU 和 TPU）上运行原始训练脚本，而无需重写样板代码。
通过 Hugging Face 和 Amazon SageMaker 进行 BART 和 T5 的摘要生成分布式训练
Hugging Face 和 Amazon SageMaker 已经集成，以提供优化的深度学习容器和专用的 HuggingFace 估计器，从而简化 BART 和 T5 等 Transformers 模型的分布式训练。
理解 BigBird 的块稀疏注意力机制
BigBird 引入了块稀疏注意力机制，将 Transformer 的计算复杂度从二次方降低到线性，从而能够处理长达 4096 个 token 的序列。
GPT-3 API 生态系统与应用增长
OpenAI 报告称，超过 300 个应用和数万名开发者正在使用 GPT-3 在各行各业每天生成平均 45 亿个单词。
Amazon SageMaker 与 Hugging Face 的合作伙伴关系
Hugging Face 与 Amazon 建立了合作伙伴关系，通过专门的深度学习容器 (DLCs) 和 Python SDK 扩展将 Hugging Face Transformers 集成到 Amazon SageMaker 中，以加速 NLP 模型的训练和部署。
在 Google Cloud Run 上部署 Hugging Face Transformers 情感分析流水线
一位社区成员演示了如何使用 DistilBERT 模型在 Google Cloud Run 上提供 Hugging Face 情感分析流水线服务，实现了低于 5 秒的延迟并保持了极低的每月成本。
用 Hugging Face Transformers 微调 Wav2Vec2 以进行英语 ASR
Hugging Face 提供了一份详细的指南，介绍如何使用 Connectionist Temporal Classification（CTC）损失来微调 Wav2Vec2 预训练语音模型，以实现英语自动语音识别（ASR）。
Hugging Face 阅读：长程 Transformer
Hugging Face 分析了四种关键架构——Longformer、Compressive Transformer、Linformer 和 Performer——旨在将标准 Transformer 自注意力的二次方内存和时间复杂度降低为线性复杂度。
CLIP 中的多模态神经元
OpenAI 在 CLIP 中发现了神经元，无论概念是以字面、符号还是概念形式呈现，这些神经元都会对同一概念做出响应，这反映了人类大脑中的多模态神经元。
Hugging Face: 构建神经网络的简单注意事项
Hugging Face 提供了一个构建和调试神经网络的框架，通过优先考虑数据分析、简单的基准测试和严谨的实现检查，而不是盲目的超参数调优。
使用 Hugging Face Transformers 和 Ray 进行检索增强生成
Hugging Face 已将 Ray 集成到检索增强生成 (RAG) 模型的文档检索机制中，实现了检索调用 2 倍的加速，并提高了分布式微调的可扩展性。
Hugging Face PyTorch / XLA TPU 集成
Hugging Face 已将 PyTorch / XLA 集成，以使用现有的 Hugging Face Trainer 接口使 PyTorch 用户能够在 Cloud TPU 上训练和扩展 transformer 模型。
理解大语言模型的能力、局限性及其社会影响
OpenAI 总结了一场多学科研讨会，探讨了与 GPT-3 及其他大语言模型相关的技术边界和社会风险。
Hugging Face Transformers v4.2.0 TensorFlow 性能与推理服务更新
Hugging Face Transformers v4.2.0 为 TensorFlow 模型引入了显著的计算性能提升，并通过使用 SavedModel 格式通过 TensorFlow Serving 简化了部署流程。
OpenAI 将 Kubernetes 扩展至 7,500 个节点
OpenAI 将单个 Kubernetes 集群扩展至 7,500 个节点，为机器学习研究提供了一个简单且可扩展的基础设施，并克服了网络、API server 负载和监控方面的挑战。
Hugging Face Transformers 通过 DeepSpeed 和 FairScale 实现 ZeRO 集成
Hugging Face Transformers v4.2.0 引入了对 DeepSpeed 和 FairScale 的 ZeRO 优化的实验性支持，使得能够以更高的批次大小训练更大的模型，并降低 GPU 显存需求。
Hugging Face 加速推理 API 优化
Hugging Face 通过结合高层库优化、基于 Rust 的分词以及硬件特定编译，在其加速推理 API 中实现了 transformer 推理 100 倍的加速。
CLIP: 连接文本与图像
OpenAI 推出了 CLIP，这是一种通过自然语言监督来学习视觉概念的神经网络，从而能够在各种不同数据集上实现 zero-shot 图像分类。