✷ 归档 · 11 个实验室 · 3,060 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
使用自定义数据集微调 SegFormer 进行语义分割
Hugging Face 提供了一份技术指南，介绍如何使用 Transformers 库微调 SegFormer 模型，以便为自动驾驶人行道导航等自定义用例执行像素级图像分类。
使用 Hugging Face 数据集进行图像搜索
Hugging Face 展示了如何通过结合 datasets 库、CLIP 嵌入和 FAISS 来构建图像搜索应用，以实现高效的相似性搜索。
使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 提供了一份关于如何使用 AWS Inferentia 和 Neuron SDK 来加速 BERT 推理的指南，在 Amazon SageMaker 上实现了 5-6ms 的延迟。
GPT-3 和 Codex 的编辑与插入功能
OpenAI 发布了 GPT-3 和 Codex 的新版本，它们可以编辑现有文本并在文档中间插入内容，超越了简单的文本补全。
在 Hugging Face Transformers 中使用约束束搜索引导文本生成
Hugging Face 将约束束搜索引入了 Transformers 库，允许用户在保持语言连贯性的同时，将特定的词汇或短语强制加入到生成的文本中。
Anthropic In-context Learning and Induction Heads
Anthropic 于 2022 年 3 月 8 日发布了一篇题为 “In-context Learning and Induction Heads” 的研究文章，但该页面仅包含相关链接，没有实质性的技术细节。
OpenAI 经济影响研究计划
OpenAI 已向研究人员和公司发出征集意向书的通知，以研究 GPT-3、ChatGPT 和 DALL-E 2 等大型语言模型的经济影响。
OpenAI 代码生成模型经济影响研究议程
OpenAI 提出了一个研究议程，旨在研究像 Codex 这样的代码生成模型如何影响生产力、就业和经济不平等，从而为部署、系统设计和公共政策提供参考。
OpenAI 关于语言模型安全与滥用的经验教训
OpenAI 分享了从部署 GPT-3 和 Codex 中获得的见解，强调实际滥用往往与理论风险不同，并且安全研究经常能提升商业价值。
BERT 101: 理解Transformer的双向编码器表示
BERT是由Google AI Language开发的基于Transformer的双向模型，通过在巨大数据集上进行无监督预训练，在11+项常见NLP任务上实现了最先进的性能。
Anthropic 研究：大型生成式模型中的可预测性与意外性
Anthropic 指出大型生成式模型中可预测的 loss 扩展性与不可预测的特定能力和输出的涌现之间存在张力，这为 AI 安全和政策带来了挑战。
使用 Hugging Face Transformers 微调视觉 Transformer (ViT) 进行图像分类
Hugging Face 提供了一个使用 datasets 和 transformers 库微调 Vision Transformer (ViT) 模型进行图像分类的指南，并以 beans 数据集为例演示了该过程。
OpenAI 形式化数学奥林匹克竞赛问题求解
OpenAI 展示了其模型使用形式化证明助手解决来自 AMC12、AIME 和 IMO 等竞赛的形式化数学奥林匹克竞赛问题的能力。
使用 Python 开始进行情感分析
Hugging Face 提供了一份关于如何使用 Python 实现情感分析的全面指南，利用了来自 Hugging Face Hub 的预训练模型、用于微调的 Trainer API 以及无代码工具 AutoNLP。
使用 Transformers 中的 Wav2Vec2 对大文件进行自动语音识别
Hugging Face 通过利用 Wav2Vec2 的 Connectionist Temporal Classification (CTC) 架构来实现一种步长技术，从而在任意长度的音频文件和实时推理中实现高质量的 ASR。
OpenAI InstructGPT：使语言模型符合指令要求
OpenAI 推出了 InstructGPT，这是一系列通过人类反馈强化学习 (RLHF) 训练的模型，与 GPT-3 相比，它们能更好地遵循用户意图，增加真实性并减少毒性。
OpenAI 文本与代码嵌入发布
OpenAI 发布了一套基于 GPT-3 后代模型的新型嵌入模型，通过提供文本和代码的数值表示，来改进语义搜索、聚类和代码检索。
Hugging Face Hub Search API 更新
Hugging Face 为 `huggingface_hub` 库引入了新的程序化搜索功能，包括 `ModelSearchArguments` 和 `ModelFilter`，以简化用户在不离开 IDE 的情况下查找模型和数据集的方式。
OpenAI 文本和代码嵌入通过对比预训练
OpenAI 通过在无监督数据上进行大规模对比预训练，开发了一种生成高质量文本和代码嵌入的方法，在线性探测分类和语义搜索中实现了最先进的结果。
Stable-Baselines3 与 Hugging Face Hub 的集成
Hugging Face 已集成 Stable-Baselines3，允许用户直接从 Hugging Face Hub 托管、共享和加载 PyTorch 深度强化学习模型。
Hugging Face Infinity CPU 性能案例研究
Hugging Face Infinity 在 Intel Ice Lake Xeon CPU 上实现的吞吐量比 vanilla Transformers 高出多达 800%，并具有毫秒级延迟，从而实现了在 CPU 基础设施上进行具有成本效益的实时 Transformer 部署。
在 Hugging Face Transformers 中使用 n-grams 增强 Wav2Vec2
Hugging Face 已将 pyctcdecode 库集成到 Transformers 库中，使 Wav2Vec2 模型能够通过 n-gram 语言模型进行增强，从而显著减少拼写错误和词错率 (WER)。
使用 Hugging Face Transformers 在 Amazon SageMaker 上部署 GPT-J 6B
Hugging Face 提供了一种在 Amazon SageMaker 上部署 EleutherAI 的 GPT-J 6B 模型的方法，通过使用 torch.save 将模型加载时间从超过三分钟降低到不到八秒。
使用 AutoNLP 和 Prodigy 进行主动学习
Hugging Face 展示了如何通过结合 AutoNLP 自动化训练框架与 Prodigy 标注工具，为命名实体识别 (NER) 构建主动学习流水线。
Anthropic 发布 Transformer 电路数学框架
Anthropic 发布了一份关于 Transformer 电路新数学框架的简短公告，强调了其在深化理解模型行为方面的潜力，但文章中并未提供任何技术细节。
Hugging Face 收购 Gradio
Hugging Face 已收购 Gradio，旨在将其易于构建的机器学习演示和 GUI 集成到其生态系统中，从而扩大非技术用户对机器学习的可访问性。
WebGPT: 通过 Web 浏览提高 GPT-3 的事实准确性
OpenAI 将 GPT-3 微调为 WebGPT，这是一个使用基于文本的 Web 浏览器进行研究并引用来源的原型，从而减少了在回答开放式问题时的幻觉现象。
Perceiver IO: 一种适用于任何模态的可扩展、全注意力模型
Perceiver IO 是一种基于 Transformer 的架构，通过使用潜空间将计算量与输入大小解耦，使其能够处理文本、图像、音频、视频和点云，而不会产生二次方扩展问题。
为您的应用定制 GPT-3
OpenAI 发布了 GPT-3 的微调功能，允许开发者在私有数据上训练模型，以提高可靠性、降低成本并改善延迟。
从零开始训练 CodeParrot
Hugging Face 推出了 CodeParrot，这是一个基于 GPT-2 的模型，从零开始在清理后的 2000 万 Python 文件数据集上进行训练，以实现 Python 代码自动补全。
Hugging Face 雪球大战 ML-Agents 环境
Hugging Face 已发布 Snowball Fight 1vs1，这是其首个基于 Unity ML-Agents 构建的自定义深度强化学习环境，并托管在 Hugging Face Spaces 上。
Anthropic 研究：将通用语言助手作为对齐实验场
Anthropic 探索了创建提供帮助、诚实且无害的通用语言助手的方法，发现排序偏好建模比模仿学习或二元判别具有更有效的扩展性。
OpenAI Residency Program Announcement
OpenAI推出了OpenAI Residency，这是一个为期六个月的有薪项目，旨在将来自其他领域的研究人员和工程师转型为公司内的全职AI角色。
Hugging Face Optimum 用于 Graphcore IPU 集成
Hugging Face 已将 Optimum 库与 Graphcore Intelligence Processing Units (IPUs) 集成，以加速 Transformer 模型，并从优化的 BERT 实现开始。
Hugging Face Data Measurements Tool
Hugging Face 发布了 Data Measurements Tool，这是一个开源的 Python 库和无代码界面，旨在帮助开发者分析、策划和比较机器学习数据集，以实现更负责任的 AI 开发。
使用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 展示了如何通过在 Intel Xeon 可扩展 CPU 服务器集群上使用 Intel Extension for PyTorch 和 oneCCL 分布式微调作业来加速 PyTorch 训练。
OpenAI API Access: GPT-3 Waitlist Removed
OpenAI 已移除 GPT-3 API 的候补名单，允许支持国家的开发者立即注册并开始尝试。
为低资源自动语音识别微调 XLS-R
Hugging Face 提供了一份关于如何使用 Transformers 库微调跨语言语音表示模型 XLS-R，以实现低资源自动语音识别 (ASR) 的技术指南。
在现代 CPU 上扩展类 BERT 模型推理 - 第 2 部分
Hugging Face 探索了 Intel Ice Lake Xeon CPU 上类 BERT 模型的软件级优化，展示了内存分配器、并行化库和贝叶斯优化如何能显著降低推理延迟。
OpenAI 解决数学应用题与 GSM8K 数据集
OpenAI 开发了一套使用训练过的验证器来解决小学数学应用题的系统，其准确率几乎是经过微调的 GPT-3 的两倍，实现了 55% 的准确率，而 9-12 岁儿童的准确率为 60%。
Hugging Face 课程第二部分及社区活动发布
Hugging Face 于 2021 年 11 月 15 日宣布发布 Hugging Face 课程的第二部分，并举办了一场包含技术演讲和动手实践项目的社区活动。
大语言模型：一个新的摩尔定律？
Hugging Face 批评了模型规模呈指数级增长的趋势（例如拥有 530B 参数的 Megatron-Turing NLG），并提倡使用蒸馏和微调等务实、高效的替代方案。
Hugging Face 使用 10 亿训练对开发的句子嵌入模型
Hugging Face 通过使用 JAX/Flax 和 TPU 基础设施，在多达 10 亿个句子对上进行训练，开发出了最先进的通用句子嵌入模型。
Hugging Face: 机器学习即代码时代
Hugging Face 主张通过采用 MLOps、利用通用型 Transformer 架构，并优先考虑生产部署而非沙盒实验，将机器学习视为一门软件工程学科。
为遥感和卫星图像微调 CLIP
研究人员利用 RSICD 数据集和其他卫星图像对 OpenAI 的 CLIP 模型进行了微调，从而显著提高了遥感应用中的文本到图像检索性能。
Hugging Face Spaces 与 Gradio 集成
Hugging Face 已将 Gradio 集成到 Spaces 中，允许用户使用 Inference API 或自定义模型检查点轻松地托管和展示机器学习模型演示。
使用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集
Hugging Face Spaces 通过与 Streamlit 集成，允许用户快速构建并托管机器学习模型和数据可视化的交互式演示。
Hugging Face Summer 2021 Update
Hugging Face 宣布了一系列 Hub 增强功能，包括用于 ML 演示托管的 Spaces Beta、TensorBoard 集成以及用于硬件加速的 Optimum 库的发布。
OpenAI 通过人类反馈对书籍进行总结 (2021)
OpenAI 提出了一种技术，该技术将人类反馈的强化学习与递归任务分解相结合，以生成整本书的摘要，从而解决了在难以评估的任务上监督人工智能的对齐挑战。
Hugging Face Optimum 发布
Hugging Face 推出了 Optimum，这是一个开源工具包，旨在针对各种硬件平台优化 Transformer 模型的生产性能。