✷ 归档 · 11 个实验室 · 3,060 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
Waymark 对 GPT-3 进行微调以创建视频脚本
Waymark 集成了微调的 GPT-3 模型，以自动化创建定制的高质量视频广告脚本，减少客户的编辑时间并实现视频制作的规模化。
图机器学习简介
Hugging Face 提供了图机器学习的全面概述，详细说明了图的表示方式以及从神经网络前特征到图神经网络和图 Transformer 的演变。
游戏开发中的 AI：5 天打造农场游戏（第 1 部）
Hugging Face 演示了如何使用 Stable Diffusion 为农场游戏确立视觉艺术风格和概念艺术，并将其在 Unity 中实现。
加速 PyTorch Transformers 在 Intel Sapphire Rapids 上的训练 – 第 1 部分
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上使用 IPEX 与 oneCCL 训练 PyTorch Transformers，实现相较于 Ice Lake 的最高 8 倍加速，并在四节点上实现近线性扩展。
OpenAI 创建下一代角色公告
针对创建下一代角色的公告所提供的源材料因 404 错误而不可用，未提供任何技术细节或官方声明。
OFASys：多模态多任务学习框架
Qwen 推出 OFASys，这是一款通过单行 Instruction 接口让用户定义复杂任务和模态，从而简化多模态多任务学习的 AI 框架。
中文 CLIP：中文对比视觉语言预训练
Qwen 已发布中文 CLIP，这是一款旨在克服以英语为中心的 CLIP 模型在跨模态检索和图像分类中所面临的文化和语言限制的视觉语言模型。
OpenAI Applied AI Research：关于 AGI、安全性和持续学习的观点
OpenAI Applied AI Research 团队的 Lilian Weng 讨论了通往 AGI 的路径、模型对齐与安全性的重要性，以及持续学习在 AI 开发中的作用。
使用 CLIPSeg 的零样本图像分割
Hugging Face 推出 CLIPSeg，这是一种零样本图像分割模型，利用 CLIP 嵌入从文本或图像提示生成分割掩码，无需针对特定类别进行训练。
Hugging Face 模型卡文档框架
Hugging Face 发布了一套工具和资源，包括基于 GUI 的创建工具和标准化模板，以提升机器学习模型文档的可访问性和标准化程度。
Anthropic 研究：通过模型编写的评估来发现语言模型行为
Anthropic 研究人员开发了一种使用语言模型自动生成高质量评估的方法，以发现新颖的行为，包括较大模型中的逆向缩放和谄媚行为。
OpenAI Point-E：从文本提示生成 3D 点云
OpenAI 推出了 Point-E，这是一套在单个 GPU 上用 1-2 分钟从复杂文本提示生成 3D 点云的系统，优先考虑采样速度而非绝对的样本质量。
OpenAI text-embedding-ada-002 发布
OpenAI 宣布了 text-embedding-ada-002 模型，这是一款统一的、更快、更便宜的嵌入模型，在大多数任务上优于之前的模型。
Hugging Face 音频数据集指南 – 如何加载、处理和流式传输音频数据
Hugging Face 宣布了一份全面指南，展示 🤗 Datasets 库能够通过几行 Python 代码加载、预处理并流式传输 Hub 上的任何音频数据集，从而实现对语音和音频任务的高效研究。
Hugging Face伦理与社会通讯 #2：机器学习中的偏见治理
Hugging Face提出了一套社会技术框架，用于通过将偏见视为必须在任务定义、数据集策划和模型训练各阶段加以应对的风险因素来缓解机器学习中的偏见。
Constitutional AI: Harmlessness from AI Feedback
Anthropic 推出了 Constitutional AI，这是一种通过使用一组规则（宪法）和 AI 反馈而非人工标注来训练无害 AI 助手的方法，旨在减少有害输出。
Habana Gaudi2 vs Nvidia A100 80GB 性能基准
Hugging Face 基准测试显示，Habana Gaudi2 在 BERT、Stable Diffusion 和 T5-3B 模型的训练和推理中提供约两倍于 Nvidia A100 80GB 的吞吐量。
Hugging Face 宣布 Bumblebee：在纯 Elixir 中实现 Transformers 与 Stable Diffusion
Hugging Face 发布了 Bumblebee，这是一款纯 Elixir 实现的 Transformers，实现了从 GPT‑2 到 Stable Diffusion 的模型在 Elixir 生态系统中的运行，支持本地 CPU/GPU 推理，无需外部依赖。
阐释人类反馈强化学习 (RLHF)
Hugging Face 解释了人类反馈强化学习 (RLHF)，这是一个通过使用基于人类偏好的奖励模型来优化模型，从而使大型语言模型与复杂的人类价值观对齐的三步流程。
OpenAI 超算基础设施与后端系统工程
OpenAI 工程师 Jake Stangel 描述了管理价值数十亿美元的超算集群所面临的技术挑战，在极端规模下会暴露出其他用户未曾见过的硬件和内核问题。
深度学习与蛋白质 – Hugging Face 蛋白质语言模型与折叠指南
Hugging Face 宣布了一系列教程，展示如何微调蛋白质语言模型并使用 ESMFold 进行蛋白质折叠，证明 NLP 中的迁移学习技术可以直接应用于蛋白质序列任务。
使用 🤗 Transformers 的时间序列 Transformer 概率预测
Hugging Face 发布了一个用于全局概率时间序列预测的原始 Transformer 模型，在 Tourism Monthly 基准上展示了最先进的性能。
Apple Silicon 上的 Stable Diffusion Core ML – 如何运行和优化
Hugging Face 发布了针对 Apple Silicon 的 Core ML 转换版 Stable Diffusion 检查点，使得在 Python 或 Swift 中进行设备端图像生成成为可能，在 M1 Max 上每张图像最快可在 18 秒内完成。
OpenAI 推出 ChatGPT
OpenAI 已发布基于 GPT-3.5 系列的会话式 AI 模型 ChatGPT，该模型通过人类反馈强化学习（RLHF）进行训练，以对话形式进行交互。
VQ‑Diffusion：离散空间中的条件潜在扩散
VQ‑Diffusion 是一种在量化离散潜在空间上运行的条件潜在扩散模型，能够提供比传统自回归模型更快的推理速度和更高的图像质量。
Hugging Face 2023 实习项目
Hugging Face 宣布了 2023 年实习项目，提供开源、科研和社会影响团队的岗位，以推动负责任机器学习的民主化。
Hugging Face 扩散模型课程与社区活动
Hugging Face 宣布将于 2022 年 11 月 28 日推出免费扩散模型课程，并于 11 月 30 日举办现场社区活动，邀请了来自 Stability AI、Meta 和 Runway 的研究人员。
Hugging Face 机器学习洞察总监 第4部分
四位机器学习总监分享了在电子商务、工程、教育和 SaaS 领域中，机器学习的影响、挑战以及集成陷阱的行业特定洞察。
Hugging Face 推理解决方案概览 2022年11月
Hugging Face 宣布推出一套免费和付费的推理选项——包括小部件、API、推理端点和 Spaces——以简化模型测试、部署和生产规模化。
Hugging Face 加速文档 AI
Hugging Face 提供了一份全面指南，帮助企业使用开源多模态模型实现文档分类、解析和视觉问答的自动化。
同态加密下的加密数据情感分析
Hugging Face 演示了如何使用 Concrete-ML 库，通过结合 BERT Transformer 与 XGBoost，在 Fully Homomorphic Encryption（FHE）下对加密数据进行情感分析。
Hugging Face 与 arXiv 的机器学习演示集成
Hugging Face 已将 Hugging Face Spaces 与 arXivLabs 集成，在 arXiv 论文摘要页面直接提供交互式机器学习演示。
OFA：迈向构建全能模型
OFA 是一个统一的多模态预训练模型，通过基于指令的多任务预训练，将跨模态的理解和生成任务统一到单一框架中。
Hugging Face 定价更新 2022年11月
Hugging Face 已转向基于计算的货币化模式，停止了 Inference API 的付费层，转而使用 Inference Endpoints 和 Spaces 的硬件升级。
对比搜索在 Transformers 中实现人类水平的文本生成
Hugging Face 已将对比搜索集成到 transformers 库中，这是一种解码方法，可防止模型退化，并在 16 种语言的现成模型上保持语义连贯性。
使用 Diffusers 的 Dreambooth Stable Diffusion 微调指南
Hugging Face 发布了使用 Diffusers 库对 Stable Diffusion 进行 Dreambooth 训练的详细建议，指出低学习率、足够的训练步数、对人像进行先验保持以及文本编码器微调能够获得最高质量的结果。
测量大规模监督在大型语言模型上的进展
Anthropic的研究人员提出了一种实证研究大规模监督的框架，以确保人类能够监督那些最终可能在复杂任务上超越自身能力的AI系统。
OpenAI DALL·E API 公测公告
OpenAI 宣布 DALL·E 图像生成 API 现已进入公测，开发者可以将最先进的图像创作和内置审核功能集成到他们的应用中。
使用 Hugging Face Transformers 对 Whisper 进行多语言 ASR 微调
Hugging Face 提供了一份关于微调 OpenAI Whisper 模型以实现多语言自动语音识别（ASR）的完整指南，展示了在仅使用 8 小时数据的情况下，Hindi 语言的 WER 绝对提升了 31.5%。
Hugging Face Optimum Intel 与 OpenVINO 集成
Hugging Face 已将 Intel OpenVINO 集成到 Optimum Intel 中，使 Transformer 模型在 Intel 硬件上实现加速推理和量化。
使用 🤗 Evaluate 评估语言模型偏见
Hugging Face 为 🤗 Evaluate 库添加了偏见度量——toxicity、language polarity（Regard）和 HONEST，使得能够系统地衡量因果语言模型中的有害语言。
使用 PyTorch DDP、Accelerate 和 Transformers Trainer 进行分布式训练
Hugging Face 解释了如何使用三种抽象层次实现分布式训练：原生 PyTorch DDP、Accelerate 库以及高级的 Transformers Trainer API。
OpenAI 奖励模型过度优化的尺度定律
OpenAI 发现，对不完美的代理奖励模型进行优化最终会削弱真实表现，并遵循基于模型参数和数据集规模的可预测尺度定律。
MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB，这是一项规模庞大且支持多语言的基准，包含 56 个数据集，覆盖 8 项任务，用于评估文本嵌入模型的性能。
Hugging Face 推理端点
Hugging Face 推理端点是一项托管服务，允许用户仅需几次点击即可将机器学习模型从 Hugging Face Hub 部署到可扩展且安全的云基础设施。
Stable Diffusion JAX 与 Flax 集成
Hugging Face Diffusers 0.5.1 版引入了对 Flax 的支持，使得通过 JAX 在 Google TPU 上实现高速的 Stable Diffusion 推理。
Hugging Face BLOOM 推理优化
Hugging Face 通过从流水线并行（Pipeline Parallelism）转向张量并行（Tensor Parallelism）并实现自定义 CUDA 内核，使 BLOOM 模型的延迟降低了 5 倍，吞吐量提升了 50 倍。
Hugging Face 引入模型和数据集的 DOI 支持
Hugging Face 现在允许用户为 Hub 上的模型和数据集生成数字对象标识符（DOI），提供跨版本持久、可引用的链接。
rinna 发布的日语 Stable Diffusion
rinna 发布了日语 Stable Diffusion，这是 Stable Diffusion 的日语微调版本，能够根据日语提示生成符合文化的图像。
Hugging Face 零样本评估在 Hub 上
Hugging Face 在 Hub 上推出了因果语言模型的零样本评估，使用户无需编写代码即可对最高 660 亿参数的模型进行基准测试。