OFA：迈向构建全能模型
OFA 是一个统一的多模态预训练模型，通过基于指令的多任务预训练，将跨模态的理解和生成任务统一到单一框架中。
Hugging Face 定价更新 2022年11月
Hugging Face 已转向基于计算的货币化模式，停止了 Inference API 的付费层，转而使用 Inference Endpoints 和 Spaces 的硬件升级。
对比搜索在 Transformers 中实现人类水平的文本生成
Hugging Face 已将对比搜索集成到 transformers 库中，这是一种解码方法，可防止模型退化，并在 16 种语言的现成模型上保持语义连贯性。
使用 Diffusers 的 Dreambooth Stable Diffusion 微调指南
Hugging Face 发布了使用 Diffusers 库对 Stable Diffusion 进行 Dreambooth 训练的详细建议，指出低学习率、足够的训练步数、对人像进行先验保持以及文本编码器微调能够获得最高质量的结果。
OpenAI DALL·E API 公测公告
OpenAI 宣布 DALL·E 图像生成 API 现已进入公测，开发者可以将最先进的图像创作和内置审核功能集成到他们的应用中。
使用 Hugging Face Transformers 对 Whisper 进行多语言 ASR 微调
Hugging Face 提供了一份关于微调 OpenAI Whisper 模型以实现多语言自动语音识别（ASR）的完整指南，展示了在仅使用 8 小时数据的情况下，Hindi 语言的 WER 绝对提升了 31.5%。
Hugging Face Optimum Intel 与 OpenVINO 集成
Hugging Face 已将 Intel OpenVINO 集成到 Optimum Intel 中，使 Transformer 模型在 Intel 硬件上实现加速推理和量化。
使用 🤗 Evaluate 评估语言模型偏见
Hugging Face 为 🤗 Evaluate 库添加了偏见度量——toxicity、language polarity（Regard）和 HONEST，使得能够系统地衡量因果语言模型中的有害语言。
使用 PyTorch DDP、Accelerate 和 Transformers Trainer 进行分布式训练
Hugging Face 解释了如何使用三种抽象层次实现分布式训练：原生 PyTorch DDP、Accelerate 库以及高级的 Transformers Trainer API。
OpenAI 奖励模型过度优化的尺度定律
OpenAI 发现，对不完美的代理奖励模型进行优化最终会削弱真实表现，并遵循基于模型参数和数据集规模的可预测尺度定律。
MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB，这是一项规模庞大且支持多语言的基准，包含 56 个数据集，覆盖 8 项任务，用于评估文本嵌入模型的性能。
Hugging Face 推理端点
Hugging Face 推理端点是一项托管服务，允许用户仅需几次点击即可将机器学习模型从 Hugging Face Hub 部署到可扩展且安全的云基础设施。
Stable Diffusion JAX 与 Flax 集成
Hugging Face Diffusers 0.5.1 版引入了对 Flax 的支持，使得通过 JAX 在 Google TPU 上实现高速的 Stable Diffusion 推理。
Hugging Face BLOOM 推理优化
Hugging Face 通过从流水线并行（Pipeline Parallelism）转向张量并行（Tensor Parallelism）并实现自定义 CUDA 内核，使 BLOOM 模型的延迟降低了 5 倍，吞吐量提升了 50 倍。
Hugging Face 引入模型和数据集的 DOI 支持
Hugging Face 现在允许用户为 Hub 上的模型和数据集生成数字对象标识符（DOI），提供跨版本持久、可引用的链接。
rinna 发布的日语 Stable Diffusion
rinna 发布了日语 Stable Diffusion，这是 Stable Diffusion 的日语微调版本，能够根据日语提示生成符合文化的图像。
Hugging Face 零样本评估在 Hub 上
Hugging Face 在 Hub 上推出了因果语言模型的零样本评估，使用户无需编写代码即可对最高 660 亿参数的模型进行基准测试。
OpenAI DALL·E Beta 现已无需等待名单
OpenAI 已取消 DALL·E Beta 的等待名单，用户可立即注册，系统目前支持超过 150 万用户，每天生成超过 200 万张图像。
Hugging Face AutoTrain 图像分类
Hugging Face 已在 AutoTrain 中加入图像分类功能，使用户能够在无需编写代码或配置超参数的情况下训练自定义图像分类模型。
Hugging Face Accelerate：使用 PyTorch 运行大型模型
Hugging Face Accelerate 通过利用 PyTorch 的 meta 设备和分片检查点，在 GPU、CPU RAM 与磁盘之间管理内存，从而使得在消费级硬件上运行超大 AI 模型成为可能。
SetFit：高效的少样本学习（无需提示）
Hugging Face 推出 SetFit，这是一种无需提示的少样本微调 Sentence Transformers 的框架，能够在极少标注数据的情况下实现高准确率。
Hugging Face伦理与社会通讯 #1
Hugging Face推出了伦理与社会通讯，并概述了一种通过协作、透明和责任实现AI伦理落地的去中心化、价值驱动方法。
OpenAI Whisper 发布
OpenAI 已发布 Whisper，这是一款自动语音识别（ASR）系统，经过 680,000 小时的多语言和多任务监督数据训练，以提升对口音、噪声和语言的鲁棒性。
惊人快速的 BLOOM 推理：使用 DeepSpeed 与 Accelerate
Hugging Face 展示了在 8×80 GB A100 GPU 上，使用 DeepSpeed‑Inference 张量并行和 Accelerate 流水线并行，对 176B 参数的 BLOOM 模型实现亚毫秒级每标记生成。
Diffusers 0.3 版本新增图像到图像、文本反转、修复、GPU 优化、Mac MPS、ONNX 支持和全新文档
Hugging Face 宣布 Diffusers 0.3 版，新增图像到图像、文本反转、实验性修复、针对小显存 GPU 的优化、Mac MPS 支持、ONNX 导出器、扩展文档以及一波社区项目。
离线强化学习的决策Transformer训练
Hugging Face 提供了一份指南和实现，演示如何从头开始训练离线决策Transformer，以使用 transformers Trainer 和自定义数据收集器解决 HalfCheetah 环境。
使用 Megatron-LM 训练语言模型
Hugging Face 提供了一份指南，介绍如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上高效预训练大型语言模型，并与 Transformers 库进行集成。
DALL·E Outpainting 功能发布
OpenAI 为 DALL·E 推出了 Outpainting，使用户能够使用自然语言描述在保持视觉一致性的前提下，将图像扩展到原始边界之外。
OpenRAIL：迈向开放且负责任的 AI 许可框架
Hugging Face 宣布了 OpenRAIL，这是一套 AI 专用许可证，结合开放访问和基于使用的限制，以促进机器学习模型的负责任部署。
OpenAI 宣布使用人类反馈强化学习和 InstructGPT 的对齐策略
OpenAI 详细阐述了其对齐方法，强调人类反馈强化学习和 InstructGPT 是实现语言模型遵循人类意图的有效、低成本手段，同时承认当前的局限性并展望 AI 驱动的对齐研究的未来目标。
在 Hugging Face Spaces 上可视化蛋白质
Hugging Face 提供了一份指南，介绍如何通过 Gradio 将 3Dmol.js 集成到 Hugging Face Spaces，以实现浏览器中 3D 蛋白质结构的可视化。
使用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT
Hugging Face 演示了如何在 AWS 上使用 Habana Gaudi DL1 实例从头预训练 BERT-base，实现了相较于基于 NVIDIA V100 GPU 训练的 25% 成本降低。
使用 Diffusers 的 Stable Diffusion
Hugging Face 宣布了使用 Diffusers 库运行文本到图像的 Stable Diffusion 模型的方法，提供了代码、许可细节以及模型潜在扩散架构的解释。
在 Vertex AI 上部署 Hugging Face ViT
Hugging Face 演示了如何在 Google Cloud 的 Vertex AI 平台上部署 Vision Transformer (ViT) 模型，以实现 Kubernetes 级别的可扩展性，同时大幅减少代码量。
Hugging Face Optimum Graphcore 上的视觉 Transformer
Hugging Face 与 Graphcore 通过 Optimum 库实现了在智能处理单元 (IPU) 上高效微调 Vision Transformer (ViT) 模型，并通过多标签胸部 X 光分类任务进行演示。
Hugging Face 将 LLM.int8() 8 位矩阵乘法集成到 Transformers 和 Accelerate 中
Hugging Face 在 Transformers 和 Accelerate 库中集成了 LLM.int8() 8 位量化技术，使得在不降低性能的情况下推理超大语言模型，并实现最高 2 倍的内存节省。
Hugging Face 的 TensorFlow 哲学
Hugging Face 概述了其 TensorFlow 集成的技术方法，强调与 Keras 和 XLA 的深度对齐，以优化 transformer 模型的性能和部署。
Skops 库实现 scikit-learn 模型托管、文档编写和在 Hugging Face Hub 上的协作
Hugging Face 宣布了 Skops，这是一款库，允许用户打包、文档化并将 scikit-learn 模型推送到 Hub，自动生成模型卡和推理小部件。
在 Kubernetes 上使用 TF Serving 部署 Hugging Face ViT
Hugging Face 提供了一份技术指南，介绍如何使用 Docker 和 Kubernetes 结合 TensorFlow Serving 对 Vision Transformer（ViT）部署进行规模化，以实现生产级的自动伸缩和资源管理。
OpenAI 内容审核端点发布
OpenAI 发布了免费内容审核端点，提供基于 GPT 的分类器，帮助开发者在其应用中检测并阻止违规内容。
Hugging Face Sentence Transformers 训练指南（历史参考）
Hugging Face 公布了一篇已过时的教程，介绍了 Sentence Transformers 模型的训练与微调，包括模型架构、数据集格式、损失函数以及模型上传方法，并引导用户使用更新的训练 API。
Hugging Face 深度强化学习课程 第8单元：近端策略优化（PPO）详解
Hugging Face 提供了对近端策略优化（PPO）的详细演练，展示了通过对策略更新比例进行裁剪如何稳定训练，并提供了一个从头实现的 PyTorch 示例，在 CartPole‑v1 和 LunarLander‑v2 上进行测试。
Hugging Face 私有 Hub 介绍
Hugging Face 推出了 Private Hub（现已更名为 Enterprise Hub），一个安全、合规的环境，供公司在统一的工具集下协作机器学习模型、数据集和 Spaces。
Nyströmformer：通过 Nyström 方法在线性时间和内存中近似自注意力
Nyströmformer 通过使用 Nyström 方法对软最大矩阵进行采样地标近似，将标准自注意力的时间和内存复杂度从 O(n^2) 降低到 O(n)。
Hugging Face 对美国国家人工智能研究资源的建议
Hugging Face 向白宫和国家科学基金会提交了回应，主张国家人工智能研究资源（NAIRR）应优先考虑伦理专长、标准化文档以及可访问的工具，以实现 AI 研究的民主化。
OpenAI 宣布高效的填充中间（Fill-in-the-Middle）语言模型训练方法
OpenAI 发布了一种新训练方法，使自回归语言模型能够执行填充中间任务而不牺牲从左到右的生成质量，提供了一种简单高效的方式来添加填充能力。
Hugging Face 数据集音频与视觉文档更新
Hugging Face 已扩展 🤗 Datasets 库的文档，加入了针对音频和视觉数据集的专门指南和工具，简化了多模态数据的加载和处理过程。
使用 TensorFlow 和 XLA 加速文本生成
Hugging Face 已在使用 TensorFlow 的 transformers 库中为文本生成启用 XLA 编译，实现了高达 100 倍的加速，并且性能常常超过 PyTorch。
代码合成大型语言模型的危害分析框架
OpenAI 引入了一套危害分析框架，以识别并缓解与部署诸如 Codex 等先进代码生成模型相关的技术、社会、政治和经济风险。
在 Hugging Face 中使用 TF Serving 部署 TensorFlow 视觉模型
Hugging Face 提供了一份关于使用 TensorFlow Serving 部署 TensorFlow 视觉模型（如 Vision Transformer（ViT））并将其公开为 REST 或 gRPC 接口的指南。