Hugging Face 深度强化学习简介
Hugging Face 发布了一个免费深度强化学习入门教程，涵盖核心 RL 概念、RL 框架、探索‑利用权衡、基于策略与基于价值的方法，以及深度神经网络在 RL 中的融合。
使用 PyTorch Fully Sharded Data Parallel 加速大模型训练
Hugging Face 将 PyTorch Fully Sharded Data Parallel (FSDP) 集成到了 Accelerate 库中，通过在 GPU 之间分片优化器状态、梯度和参数，并提供可选的 CPU offloading，从而实现了海量模型的训练。
使用 Kili 和 HuggingFace AutoTrain 进行观点分类
Hugging Face 演示了如何使用 Kili 进行数据标注并利用 AutoTrain 自动化模型训练，构建文本分类的主动学习流水线。
Hugging Face 机器学习总监洞察 – 行业视角
Hugging Face 发布了一系列对六位机器学习总监的访谈，分享了 ML 如何在媒体、制药、科学、物流、营销和能源领域产生变革，同时突显了共同的挑战和未来机遇。
在 Habana Gaudi 上使用 Transformers 入门
Hugging Face 与 Habana Labs 合作，加速 Transformer 模型训练，相较于基于 GPU 的 Amazon EC2 实例，Habana Gaudi 加速器提供高达 40% 的性价比提升。
使用机器学习提升客户服务
Hugging Face 展示了如何使用微调的 DeBERTa-v3-base 模型以及 Transformers 和 Datasets 库来自动化过滤不满意的客户反馈。
Hugging Face 教育计划 2022 启动
Hugging Face 于 2022 年 4 月宣布了一项多轨教育计划，目标是在 2023 年底前向 500 万人教授机器学习，为学习者、教师以及更广泛的公众提供免费资源。
Hugging Face Hub 碳排放追踪
Hugging Face 引入了工具，以跟踪、报告和基于 CO2 排放量过滤机器学习模型，从而提升 AI 领域的环境透明度。
衡量 AI 对齐中的古德哈特定律
OpenAI 探讨了在 AI 模型中优化代理目标如何导致真实目标性能下降，这一现象被称为古德哈特定律，并提出将 best-of-n 采样作为分析方法。
层次化文本条件图像生成与 CLIP 潜在向量
OpenAI 推出了一种两阶段生成模型，使用先验从文本生成 CLIP 图像嵌入，再通过解码器从这些嵌入生成图像，从而提升了多样性并实现了零样本图像操作。
Lewis Tunstall 访谈 – Hugging Face 机器学习专家
Hugging Face 宣布了对机器学习工程师 Lewis Tunstall 的详细访谈，重点介绍了他在 Transformers 库上的工作、新出版的《NLP with Transformers》一书以及不断扩展的 Hugging Face 课程。
Habana Labs 与 Hugging Face 的变压器模型训练合作伙伴关系
Habana Labs 与 Hugging Face 已将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 库集成，以加速在 Habana Gaudi 处理器上进行变压器模型的训练。
Hugging Face Transformers 设计哲学
Hugging Face 为 Transformers 库采用了“一模型文件”政策，刻意摒弃 DRY（不要重复自己）原则，以优先保证可读性、社区贡献以及静态机器学习模型的稳定性。
Decision Transformer 在 Hugging Face Transformers 中的集成
Hugging Face 已将 Decision Transformer——一种将强化学习视为条件序列建模问题的离线强化学习方法——集成到 transformers 库和 Hugging Face Hub 中。
机器学习专家：访谈 Margaret Mitchell
Dr. Margaret Mitchell 讨论了伦理 AI 的关键作用、用于提高透明度的 Model Cards 的开发，以及机器学习开发中多样性和包容性的必要性。
Hugging Face AI Research Residency Program Announcement
Hugging Face 推出了为期 9 个月的 AI Research Residency Program，旨在帮助有志向的研究人员与 Hugging Face Science Team 合作，开发机器学习技术并发布开源工作。
使用自定义数据集微调 SegFormer 进行语义分割
Hugging Face 提供了一份技术指南，介绍如何使用 Transformers 库微调 SegFormer 模型，以便为自动驾驶人行道导航等自定义用例执行像素级图像分类。
使用 Hugging Face 数据集进行图像搜索
Hugging Face 展示了如何通过结合 datasets 库、CLIP 嵌入和 FAISS 来构建图像搜索应用，以实现高效的相似性搜索。
使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 提供了一份关于如何使用 AWS Inferentia 和 Neuron SDK 来加速 BERT 推理的指南，在 Amazon SageMaker 上实现了 5-6ms 的延迟。
GPT-3 和 Codex 的编辑与插入功能
OpenAI 发布了 GPT-3 和 Codex 的新版本，它们可以编辑现有文本并在文档中间插入内容，超越了简单的文本补全。
在 Hugging Face Transformers 中使用约束束搜索引导文本生成
Hugging Face 将约束束搜索引入了 Transformers 库，允许用户在保持语言连贯性的同时，将特定的词汇或短语强制加入到生成的文本中。
OpenAI 经济影响研究计划
OpenAI 已向研究人员和公司发出征集意向书的通知，以研究 GPT-3、ChatGPT 和 DALL-E 2 等大型语言模型的经济影响。
OpenAI 代码生成模型经济影响研究议程
OpenAI 提出了一个研究议程，旨在研究像 Codex 这样的代码生成模型如何影响生产力、就业和经济不平等，从而为部署、系统设计和公共政策提供参考。
OpenAI 关于语言模型安全与滥用的经验教训
OpenAI 分享了从部署 GPT-3 和 Codex 中获得的见解，强调实际滥用往往与理论风险不同，并且安全研究经常能提升商业价值。
BERT 101: 理解Transformer的双向编码器表示
BERT是由Google AI Language开发的基于Transformer的双向模型，通过在巨大数据集上进行无监督预训练，在11+项常见NLP任务上实现了最先进的性能。
使用 Hugging Face Transformers 微调视觉 Transformer (ViT) 进行图像分类
Hugging Face 提供了一个使用 datasets 和 transformers 库微调 Vision Transformer (ViT) 模型进行图像分类的指南，并以 beans 数据集为例演示了该过程。
OpenAI 形式化数学奥林匹克竞赛问题求解
OpenAI 展示了其模型使用形式化证明助手解决来自 AMC12、AIME 和 IMO 等竞赛的形式化数学奥林匹克竞赛问题的能力。
使用 Python 开始进行情感分析
Hugging Face 提供了一份关于如何使用 Python 实现情感分析的全面指南，利用了来自 Hugging Face Hub 的预训练模型、用于微调的 Trainer API 以及无代码工具 AutoNLP。
使用 Transformers 中的 Wav2Vec2 对大文件进行自动语音识别
Hugging Face 通过利用 Wav2Vec2 的 Connectionist Temporal Classification (CTC) 架构来实现一种步长技术，从而在任意长度的音频文件和实时推理中实现高质量的 ASR。
OpenAI InstructGPT：使语言模型符合指令要求
OpenAI 推出了 InstructGPT，这是一系列通过人类反馈强化学习 (RLHF) 训练的模型，与 GPT-3 相比，它们能更好地遵循用户意图，增加真实性并减少毒性。
OpenAI 文本与代码嵌入发布
OpenAI 发布了一套基于 GPT-3 后代模型的新型嵌入模型，通过提供文本和代码的数值表示，来改进语义搜索、聚类和代码检索。
Hugging Face Hub Search API 更新
Hugging Face 为 `huggingface_hub` 库引入了新的程序化搜索功能，包括 `ModelSearchArguments` 和 `ModelFilter`，以简化用户在不离开 IDE 的情况下查找模型和数据集的方式。
OpenAI 文本和代码嵌入通过对比预训练
OpenAI 通过在无监督数据上进行大规模对比预训练，开发了一种生成高质量文本和代码嵌入的方法，在线性探测分类和语义搜索中实现了最先进的结果。
Stable-Baselines3 与 Hugging Face Hub 的集成
Hugging Face 已集成 Stable-Baselines3，允许用户直接从 Hugging Face Hub 托管、共享和加载 PyTorch 深度强化学习模型。
Hugging Face Infinity CPU 性能案例研究
Hugging Face Infinity 在 Intel Ice Lake Xeon CPU 上实现的吞吐量比 vanilla Transformers 高出多达 800%，并具有毫秒级延迟，从而实现了在 CPU 基础设施上进行具有成本效益的实时 Transformer 部署。
在 Hugging Face Transformers 中使用 n-grams 增强 Wav2Vec2
Hugging Face 已将 pyctcdecode 库集成到 Transformers 库中，使 Wav2Vec2 模型能够通过 n-gram 语言模型进行增强，从而显著减少拼写错误和词错率 (WER)。
使用 Hugging Face Transformers 在 Amazon SageMaker 上部署 GPT-J 6B
Hugging Face 提供了一种在 Amazon SageMaker 上部署 EleutherAI 的 GPT-J 6B 模型的方法，通过使用 torch.save 将模型加载时间从超过三分钟降低到不到八秒。
使用 AutoNLP 和 Prodigy 进行主动学习
Hugging Face 展示了如何通过结合 AutoNLP 自动化训练框架与 Prodigy 标注工具，为命名实体识别 (NER) 构建主动学习流水线。
Hugging Face 收购 Gradio
Hugging Face 已收购 Gradio，旨在将其易于构建的机器学习演示和 GUI 集成到其生态系统中，从而扩大非技术用户对机器学习的可访问性。
WebGPT: 通过 Web 浏览提高 GPT-3 的事实准确性
OpenAI 将 GPT-3 微调为 WebGPT，这是一个使用基于文本的 Web 浏览器进行研究并引用来源的原型，从而减少了在回答开放式问题时的幻觉现象。
Perceiver IO: 一种适用于任何模态的可扩展、全注意力模型
Perceiver IO 是一种基于 Transformer 的架构，通过使用潜空间将计算量与输入大小解耦，使其能够处理文本、图像、音频、视频和点云，而不会产生二次方扩展问题。
为您的应用定制 GPT-3
OpenAI 发布了 GPT-3 的微调功能，允许开发者在私有数据上训练模型，以提高可靠性、降低成本并改善延迟。
从零开始训练 CodeParrot
Hugging Face 推出了 CodeParrot，这是一个基于 GPT-2 的模型，从零开始在清理后的 2000 万 Python 文件数据集上进行训练，以实现 Python 代码自动补全。
Hugging Face 雪球大战 ML-Agents 环境
Hugging Face 已发布 Snowball Fight 1vs1，这是其首个基于 Unity ML-Agents 构建的自定义深度强化学习环境，并托管在 Hugging Face Spaces 上。
OpenAI Residency Program Announcement
OpenAI推出了OpenAI Residency，这是一个为期六个月的有薪项目，旨在将来自其他领域的研究人员和工程师转型为公司内的全职AI角色。
Hugging Face Optimum 用于 Graphcore IPU 集成
Hugging Face 已将 Optimum 库与 Graphcore Intelligence Processing Units (IPUs) 集成，以加速 Transformer 模型，并从优化的 BERT 实现开始。
Hugging Face Data Measurements Tool
Hugging Face 发布了 Data Measurements Tool，这是一个开源的 Python 库和无代码界面，旨在帮助开发者分析、策划和比较机器学习数据集，以实现更负责任的 AI 开发。
使用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 展示了如何通过在 Intel Xeon 可扩展 CPU 服务器集群上使用 Intel Extension for PyTorch 和 oneCCL 分布式微调作业来加速 PyTorch 训练。
OpenAI API Access: GPT-3 Waitlist Removed
OpenAI 已移除 GPT-3 API 的候补名单，允许支持国家的开发者立即注册并开始尝试。
为低资源自动语音识别微调 XLS-R
Hugging Face 提供了一份关于如何使用 Transformers 库微调跨语言语音表示模型 XLS-R，以实现低资源自动语音识别 (ASR) 的技术指南。