OpenAI 宣布使用人类反馈强化学习和 InstructGPT 的对齐策略
OpenAI 详细阐述了其对齐方法，强调人类反馈强化学习和 InstructGPT 是实现语言模型遵循人类意图的有效、低成本手段，同时承认当前的局限性并展望 AI 驱动的对齐研究的未来目标。
在 Hugging Face Spaces 上可视化蛋白质
Hugging Face 提供了一份指南，介绍如何通过 Gradio 将 3Dmol.js 集成到 Hugging Face Spaces，以实现浏览器中 3D 蛋白质结构的可视化。
使用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT
Hugging Face 演示了如何在 AWS 上使用 Habana Gaudi DL1 实例从头预训练 BERT-base，实现了相较于基于 NVIDIA V100 GPU 训练的 25% 成本降低。
使用 Diffusers 的 Stable Diffusion
Hugging Face 宣布了使用 Diffusers 库运行文本到图像的 Stable Diffusion 模型的方法，提供了代码、许可细节以及模型潜在扩散架构的解释。
在 Vertex AI 上部署 Hugging Face ViT
Hugging Face 演示了如何在 Google Cloud 的 Vertex AI 平台上部署 Vision Transformer (ViT) 模型，以实现 Kubernetes 级别的可扩展性，同时大幅减少代码量。
Hugging Face Optimum Graphcore 上的视觉 Transformer
Hugging Face 与 Graphcore 通过 Optimum 库实现了在智能处理单元 (IPU) 上高效微调 Vision Transformer (ViT) 模型，并通过多标签胸部 X 光分类任务进行演示。
Hugging Face 将 LLM.int8() 8 位矩阵乘法集成到 Transformers 和 Accelerate 中
Hugging Face 在 Transformers 和 Accelerate 库中集成了 LLM.int8() 8 位量化技术，使得在不降低性能的情况下推理超大语言模型，并实现最高 2 倍的内存节省。
Hugging Face 的 TensorFlow 哲学
Hugging Face 概述了其 TensorFlow 集成的技术方法，强调与 Keras 和 XLA 的深度对齐，以优化 transformer 模型的性能和部署。
Skops 库实现 scikit-learn 模型托管、文档编写和在 Hugging Face Hub 上的协作
Hugging Face 宣布了 Skops，这是一款库，允许用户打包、文档化并将 scikit-learn 模型推送到 Hub，自动生成模型卡和推理小部件。
在 Kubernetes 上使用 TF Serving 部署 Hugging Face ViT
Hugging Face 提供了一份技术指南，介绍如何使用 Docker 和 Kubernetes 结合 TensorFlow Serving 对 Vision Transformer（ViT）部署进行规模化，以实现生产级的自动伸缩和资源管理。
OpenAI 内容审核端点发布
OpenAI 发布了免费内容审核端点，提供基于 GPT 的分类器，帮助开发者在其应用中检测并阻止违规内容。
Hugging Face Sentence Transformers 训练指南（历史参考）
Hugging Face 公布了一篇已过时的教程，介绍了 Sentence Transformers 模型的训练与微调，包括模型架构、数据集格式、损失函数以及模型上传方法，并引导用户使用更新的训练 API。
Hugging Face 深度强化学习课程 第8单元：近端策略优化（PPO）详解
Hugging Face 提供了对近端策略优化（PPO）的详细演练，展示了通过对策略更新比例进行裁剪如何稳定训练，并提供了一个从头实现的 PyTorch 示例，在 CartPole‑v1 和 LunarLander‑v2 上进行测试。
Hugging Face 私有 Hub 介绍
Hugging Face 推出了 Private Hub（现已更名为 Enterprise Hub），一个安全、合规的环境，供公司在统一的工具集下协作机器学习模型、数据集和 Spaces。
Nyströmformer：通过 Nyström 方法在线性时间和内存中近似自注意力
Nyströmformer 通过使用 Nyström 方法对软最大矩阵进行采样地标近似，将标准自注意力的时间和内存复杂度从 O(n^2) 降低到 O(n)。
Hugging Face 对美国国家人工智能研究资源的建议
Hugging Face 向白宫和国家科学基金会提交了回应，主张国家人工智能研究资源（NAIRR）应优先考虑伦理专长、标准化文档以及可访问的工具，以实现 AI 研究的民主化。
OpenAI 宣布高效的填充中间（Fill-in-the-Middle）语言模型训练方法
OpenAI 发布了一种新训练方法，使自回归语言模型能够执行填充中间任务而不牺牲从左到右的生成质量，提供了一种简单高效的方式来添加填充能力。
Hugging Face 数据集音频与视觉文档更新
Hugging Face 已扩展 🤗 Datasets 库的文档，加入了针对音频和视觉数据集的专门指南和工具，简化了多模态数据的加载和处理过程。
使用 TensorFlow 和 XLA 加速文本生成
Hugging Face 已在使用 TensorFlow 的 transformers 库中为文本生成启用 XLA 编译，实现了高达 100 倍的加速，并且性能常常超过 PyTorch。
代码合成大型语言模型的危害分析框架
OpenAI 引入了一套危害分析框架，以识别并缓解与部署诸如 Codex 等先进代码生成模型相关的技术、社会、政治和经济风险。
在 Hugging Face 中使用 TF Serving 部署 TensorFlow 视觉模型
Hugging Face 提供了一份关于使用 TensorFlow Serving 部署 TensorFlow 视觉模型（如 Vision Transformer（ViT））并将其公开为 REST 或 gRPC 接口的指南。
优势演员-评论家 (A2C) 详解
Hugging Face 解释了优势演员-评论家 (A2C)，这是一种通过结合基于策略和基于价值的方法来降低策略梯度估计方差的混合强化学习架构。
OpenAI DALL·E 测试版发布
OpenAI 宣布 DALL·E 现已向 100 万受邀用户开放测试版，提供免费月度积分和商业使用权。
降低偏见并提升 DALL·E 2 的安全性
OpenAI 为 DALL·E 2 实施了一种系统级技术，以提升生成人物的多样性，并加强了安全过滤器以防止创建欺骗性内容。
动态对抗数据收集（DADC）用于 MNIST – Hugging Face 教程
Hugging Face 宣布了一份关于 MNIST 上动态对抗数据收集（DADC）的逐步教程，展示了如何收集人类生成的对抗样本并重新训练模型以提升鲁棒性。
DALL·E 2：拓展创意
OpenAI 的 DALL·E 2 研究预览已被来自 118 个国家的超过 3,000 位艺术家采用，将 AI 生成的图像整合到从医疗支持到高端烹饪艺术等多元创意工作流程中。
BLOOM 176B 训练技术概览
Hugging Face 发布了关于 1760 亿参数 BLOOM 模型如何使用 384 块 A100 GPU、Megatron‑DeepSpeed 3D 并行和 BF16 混合精度进行训练的详细拆解，重点介绍了硬件、软件栈和工程挑战。
使用句子转换器构建播放列表生成器
Hugging Face 演示了如何使用句子转换器进行歌词嵌入，并结合 Gradio Blocks 构建基于语义搜索的播放列表生成器。
BLOOM：全球最大开放多语言语言模型
Hugging Face 和 BigScience 项目发布了 BLOOM，这是一款拥有 1760 亿参数的开放获取多语言语言模型，已在 46 种自然语言和 13 种编程语言上以完全透明的方式进行训练。
开始使用 Twitter 情感分析
Hugging Face 提供了一份指南，介绍如何使用 Inference API 对 Twitter 数据进行自动化情感分析，适用于开发者和非编码人员。
使用 PyTorch 的策略梯度 – Hugging Face 深度强化学习课程 第5单元
Hugging Face 发布了一个教程，详细演示了如何在 PyTorch 中从零实现 REINFORCE 蒙特卡罗策略梯度算法，并在 CartPole‑v1、PixelCopter 和 Pong 上进行评估。
使用 Sentence Transformers 入门机器学习
Hugging Face 为初学者提供了一份指南，帮助他们使用 Sentence Transformers 库创建嵌入并进行语义搜索，以启动首个机器学习项目。
DALL·E 2 预训练缓解措施
OpenAI 实施了主动学习用于数据过滤、重新加权方案防止偏见放大，以及基于聚类的去重流程，以消除 DALL·E 2 中的图像复制问题。
Hugging Face 在 Hub 上的评估
Hugging Face 已推出 Evaluation on the Hub，这是一款由 AutoTrain 提供动力的无代码工具，允许用户在 Hugging Face Hub 上直接使用任意指标对任意模型进行任意数据集的评估。
使用 DeepSpeed 加速大模型训练
Hugging Face 演示了如何使用 Accelerate 库集成 DeepSpeed 的 ZeRO 优化，从而实现更大的批量大小并训练原本会超出 GPU 内存限制的模型。
OpenAI 视频预训练（VPT）用于 Minecraft
OpenAI 引入了视频预训练（VPT），一种半监督模仿学习方法，使代理能够通过在大规模未标记的人类游戏视频上训练，在 Minecraft 中学习复杂行为。
嵌入入门 – Hugging Face 教程
Hugging Face 宣布了一份逐步指南，介绍如何使用 Sentence‑Transformers 库和 Hugging Face Hub 创建、托管和查询向量嵌入，演示了一个可搜索的 FAQ 系统。
使用 Hugging Face Optimum 将 Transformers 转换为 ONNX
Hugging Face 提供了三种将 Transformers 模型转换为 ONNX 的方法，范围从低层的 torch.onnx API 到高层的 Optimum 库。
OpenAI 大模型进化（ELM）研究
OpenAI 推出大模型进化（ELM），一种利用大型语言模型（LLM）通过模拟人类式代码变异来改进遗传编程，从而在新领域生成功能性程序的方法。
英特尔与 Hugging Face 的机器学习硬件加速合作
英特尔已加入 Hugging Face 硬件合作伙伴计划，开发 Optimum Intel 库，实现对英特尔平台上 Transformer 模型的训练、微调和推理的简化硬件加速。
Hugging Face 机器学习洞察总监：金融版
来自美国银行、加拿大皇家银行（RBC）和穆迪分析的专家讨论了机器学习如何通过欺诈检测和个性化产品改变金融业，同时应对遗留系统和监管要求等挑战。
AI 编写的批评帮助人类注意到缺陷
OpenAI 的研究表明，AI 生成的批评帮助人类评估者显著识别出更多摘要中的缺陷，暗示了一条可扩展的人类监督复杂 AI 任务的路径。
OpenAI 大型神经网络训练技术
OpenAI 概述了主要的并行策略——数据并行、流水线并行、张量并行和专家并行——以及用于在 GPU 集群上训练大规模 AI 模型的内存节省技术。
使用《太空侵略者》的深度 Q 学习
Hugging Face 解释了深度 Q 学习（DQN），这是一种使用神经网络来近似 Q 值的强化学习方法，适用于像 Atari 游戏这样的高维状态空间。
注释扩散模型 – DDPM 实现的详细演练
Hugging Face 发布了一个带注释的、逐步的 PyTorch 实现，演示了去噪扩散概率模型（DDPM）的构建、训练和采样，用于图像生成。
OpenAI、Cohere 和 AI21 Labs 部署语言模型的最佳实践
OpenAI、Cohere 和 AI21 Labs 发布了一套联合的初步最佳实践，旨在负责任地开发和部署大型语言模型，以降低风险并防止滥用。
OpenAI 研究：教模型用文字表达不确定性
OpenAI 研究人员展示了 GPT-3 可以在不依赖模型 logits 的情况下，通过自然语言表达其答案的校准不确定性。
Graphcore 和 Hugging Face 扩展 IPU 就绪的 Transformer 模型
Graphcore 和 Hugging Face 已将 Hugging Face Optimum 库扩展至包括 10 种针对 Graphcore IPU 优化的 Transformer 模型，覆盖 NLP、语音和计算机视觉。
Hugging Face Hub 社区更新：拉取请求和讨论
Hugging Face 已在 Hub 中引入拉取请求和讨论功能，使社区能够在模型、数据集和 Spaces 上进行协作，无需创建仓库 fork。
OpenAI Codex 应用与集成
OpenAI Codex 是基于 GPT-3 的自然语言转代码系统，支持超过 70 个应用，包括 GitHub Copilot，通过将英文指令转换为代码来提升开发者的生产力。