✷ 归档 · 11 个实验室 · 3,060 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
GPT即GPT：大型语言模型对劳动力市场的影响
OpenAI的研究表明，约80%的美国劳动力可能至少有10%的工作任务受到大型语言模型的影响，使其成为通用技术。
Anthropic 揭示了 Transformer 残差流中的特权基底
Anthropic 发现 Transformer 残差流维度并非任意，而是与特权基底对齐，这很可能是由于 Adam 的逐维度归一化器造成的，从而挑战了先前的理论假设。
OpenAI GPT-4 公告及功能概述
OpenAI 宣布推出 GPT‑4，这款大型多模态模型在众多专业基准上实现了人类水平的表现，并已通过 ChatGPT、API 候补名单以及开源评估工具向外部提供。
OpenAI 宣布为 Be My Eyes 推出基于 GPT‑4 的虚拟志愿者
OpenAI 将 GPT‑4 的视觉输入功能集成到 Be My Eyes 应用中，创建了一个能够描述、分析并就图像进行对话的虚拟志愿者，显著提升了盲人和低视力用户的视觉可访问性。
Stripe GPT-4 集成案例研究
Stripe 在其平台上集成了 GPT-4，以自动化业务概述、通过文档分析提升开发者支持，并改进社区论坛的欺诈检测。
Duolingo 整合 GPT-4 以实现高级语言学习
Duolingo 推出了 Duolingo Max，这一全新订阅层级提供基于 GPT-4 的角色扮演和“解释我的答案”功能，以实现沉浸式对话练习和情境语法反馈。
可汗学院整合 GPT-4 为 Khanmigo AI 助手提供动力
可汗学院正在试点 Khanmigo，这是一款由 GPT-4 驱动的 AI 导师和教师助理，旨在提供个性化学习和教学支持。
OpenAI 与冰岛政府合作，保护冰岛语
OpenAI 已与冰岛政府及私营企业合作，利用 GPT-4 和强化学习人类反馈（RLHF）在数字时代保护冰岛语。
介绍 Claude
Anthropic 发布了 Claude，这是一款旨在提供有用、诚实且无害服务的下一代 AI 助手，提供高性能版本和快速、轻量级版本。
OpenAI GPT-4 发布
OpenAI 发布了 GPT-4，这是一个大型语言模型，与 GPT-3.5 相比，它展现出了先进的推理能力、更高的解题准确性，以及改进的安全性和事实可靠性。
使用 Informer 的多变量概率时间序列预测
Hugging Face 已将 Informer 模型集成到 Transformers 库中，实现了高效的多变量概率时间序列预测，并降低了计算和内存复杂度。
在 24GB 消费级 GPU 上对 20B LLM 进行 RLHF 微调
Hugging Face 发布了 TRL 与 PEFT 的集成，使得使用 8 位量化和低秩适配器在单个 24 GB GPU 上对 200 亿参数的语言模型进行强化学习微调。
Anthropic 对 AI 安全的核心观点
Anthropic 概述了一种由经验驱动、基于组合方案的 AI 安全方法，以减轻与变革性 AI 系统快速缩放相关的灾难性风险。
Kakao Brain ViT 与 ALIGN 模型发布，使用 COYO 700M 数据集
Kakao Brain 与 Hugging Face 发布了在全新 700 M 图文 COYO 数据集上训练的开源 ViT 与 ALIGN 视觉语言模型，提供了首个公开可用的 ALIGN 模型以及具备可复现训练数据的 ViT 模型。
Diffusers 中的 ControlNet
Hugging Face 已将 ControlNet 集成到 Diffusers 库中，使得能够通过 Canny 边缘、深度图和人体姿态等条件，实现对 Stable Diffusion 图像生成的精确空间控制。
使用机器学习进行灾害响应：afetharita 项目
Hugging Face 介绍了志愿者如何利用 Hugging Face 生态系统快速部署 OCR、NER 和遥感的机器学习模型，以帮助 2023 年 2 月土耳其地震的幸存者。
Hugging Face Diffusers 伦理指南
Hugging Face 为 Diffusers 库推出了伦理框架，以指导技术决策和社区贡献，同时降低扩散模型可能带来的社会风险。
Hugging Face 专家加速计划：Witty Works 案例研究
Witty Works 利用 Hugging Face 专家加速计划和 SetFit，构建了一个基于上下文的包容性语言分类器，在使用极少标注数据的情况下实现了高准确率。
OpenAI 对 AGI 及其未来的规划
OpenAI 概述了一项逐步部署 AI 系统的策略，以便社会能够适应，强调需要加强对齐研究、全球治理以及对生存风险的审慎态度。
Swift Diffusers for Mac 1.1 发布
Hugging Face 已发布 Diffusers for Mac 1.1 版，这是一款利用 Core ML 加速 Apple Silicon 上 Stable Diffusion 的原生开源应用，在部分硬件配置下可实现最高 2 倍的生成速度提升。
大语言模型的红队测试
Hugging Face 概述了红队测试在识别 LLM 漏洞、预防有害输出方面的关键作用，强调需要协作且自适应的评估方法。
Fetch AI 基础设施迁移：使用 Hugging Face 和 AWS 整合工具
Fetch 通过从第三方 AI “黑箱”迁移到由 Hugging Face 和 AWS 支持的内部机器学习管道，将开发时间缩短了 30%，处理延迟降低了 50%。
Hugging Face 与 AWS 的 AI 可访问性战略合作伙伴关系
Hugging Face 与 AWS 扩大了战略合作，通过将 Hugging Face 模型与 AWS 基础设施及专用 ML 加速器相结合，使生成式 AI 更加民主化。
OpenAI AI 系统行为与治理框架
OpenAI 概述了一个两步训练过程来塑造 ChatGPT 的行为，并提出了一个三支柱策略，以改进默认设置、实现用户定制，并将公众意见纳入 AI 治理。
Hugging Face 推理端点案例研究
Hugging Face 正在将其基于 CPU 的机器学习模型从 AWS ECS/Fargate 迁移到 Hugging Face 推理端点，以降低运维复杂性并降低延迟。
BLIP-2：零样本图像到文本生成
BLIP-2 是 Salesforce Research 开发的视觉语言模型，使用查询变换器（Q-Former）在冻结的图像编码器和冻结的大型语言模型之间搭建桥梁，实现高效的零样本图像到文本生成。
Anthropic 研究：LLM 的道德能力自我修正
Anthropic 研究表明，通过 RLHF 训练的大语言模型 (LLM) 在收到指令时可以进行道德自我修正以避免有害输出，这种能力在 22B 参数规模时开始涌现。
🤗 PEFT 库发布，实现对千亿规模模型的参数高效微调
Hugging Face 宣布了 🤗 PEFT 库，用户只需训练极少量参数，即可在低资源硬件上微调千亿参数模型。
SpeechT5：统一模态编码器-解码器用于语音处理
Hugging Face 已集成 SpeechT5，这是一款基于统一 Transformer 的模型，能够通过共享的编码器-解码器骨干实现文本转语音、语音转语音和语音转文本任务。
Hugging Face AI vs. AI：多智能体强化学习竞赛系统
Hugging Face 推出了 AI vs. AI，这是一套开源系统，通过持续的多智能体竞争并使用 ELO 评分系统，对深度强化学习模型进行排名。
Hugging Face AI用于游戏开发：生成故事
Hugging Face 概述了使用大型语言模型（LLM），如 ChatGPT，生成游戏故事和内容的工作流程，同时强调了在原创性、法律风险和长期连贯性方面的关键局限性。
使用 Intel Sapphire Rapids 加速 PyTorch Transformers
Hugging Face 展示了将 Intel Sapphire Rapids CPU 与 Optimum Intel 库结合使用，可将 PyTorch Transformer 推理速度提升至比之前的 Xeon 代际高出最高 3 倍。
深入探讨视觉语言模型
Hugging Face 提供了视觉语言模型的技术概述，详细阐述了五种主要的预训练策略以及它们在 Transformers 库中用于 VQA 和图像分割等任务的集成。
Anthropic 与 Google Cloud 合作构建 AI 基础设施
Anthropic 已选择 Google Cloud 作为其云服务提供商，利用 GPU 和 TPU 集群来训练、规模化并部署其 AI 系统，包括 Claude 助手。
ChatGPT Plus 发布
OpenAI 宣布推出 ChatGPT Plus，这是一项每月 20 美元的订阅服务，保证在高峰时段的访问、更快的响应以及优先功能推送，并将其可用性扩展至全球。
OpenAI AI 文本分类器发布（2023 年 1 月）
OpenAI 于 2023 年 1 月发布了公开的 AI 文本分类器，用于标记可能的 AI 生成英文文本，但其可靠性不足——仅识别出 26% 的 AI 文本，并误标 9% 的人类文本。
Hugging Face 计算机视觉的现状
Hugging Face 已将其生态系统扩展至支持 8 项核心计算机视觉任务，超过 3,000 个模型和 100 多个数据集，整合了 Transformer 和卷积架构。
Hugging Face 2D 资产生成用于游戏开发
Hugging Face 演示了如何将 Stable Diffusion 的 Image2Image 功能整合到协作的 2D 游戏资产工作流中，以高效地创建可直接用于生产的图标。
使用 LoRA 高效微调 Stable Diffusion
Hugging Face 已将低秩适配（LoRA）集成到 diffusers 库中，实现了更快的 Stable Diffusion 微调，显著降低了显存需求，模型权重小至 3 MB。
Hugging Face Optimum 与 ONNX Runtime 训练集成
Hugging Face 与 Microsoft 将 ONNX Runtime 集成到 Optimum 库中，使基于 Transformer 的模型训练时间缩短 35% 以上。
对话代理有用的因素是什么？技术分析
Hugging Face 分析了关键技术——包括指令微调（IFT）、监督微调（SFT）、来自人类反馈的强化学习（RLHF）以及链式思考（CoT）——这些技术将基础语言模型转变为有用的对话代理。
OpenAI 与微软扩展战略合作伙伴关系
OpenAI 与微软已延长其多年、数十亿美元的合作伙伴关系，以加速独立的 AI 研究并通过 Azure 扩大 AI 模型的部署。
Hugging Face AI 用于游戏开发：3D 资产生成
Hugging Face 探讨了文本到 3D AI 的现状，得出结论：虽然已有 DreamFusion 和 Point‑E 等工具，但它们尚未在快速游戏开发工作流中实际可用。
Mask2Former 与 OneFormer：🤗 Transformers 中的通用图像分割模型
Hugging Face 在 Transformers 库中发布了 Mask2Former 和 OneFormer，提供了能够使用单一模型处理实例、语义和全景分割的通用架构。
PaddlePaddle 与 Hugging Face Hub 的集成
Hugging Face 与 PaddlePaddle 合作，将其深度学习平台及库（从 PaddleNLP 开始）集成到 Hugging Face Hub，以提升可访问性和共享性。
使用 Hugging Face Datasets 和 Transformers 进行图像相似度
Hugging Face 演示了如何使用 Transformers 和 Datasets 库通过计算密集向量嵌入并测量余弦相似度来构建图像相似度系统。
预测语言模型在错误信息宣传活动中的滥用
OpenAI、乔治城大学和斯坦福互联网观察站发布了一份报告，分析大型语言模型如何降低错误信息宣传活动的成本并扩大规模，并提出了一个四阶段的缓解框架。
游戏开发中的 AI：使用大语言模型进行游戏设计
Hugging Face 演示了如何将类似 ChatGPT 的大语言模型用作游戏设计的头脑风暴和加速工具，特别是用于定义农场游戏的核心特性。
Anthropic 研究：叠加、记忆与双重下降
Anthropic 研究人员调查了简单神经网络中叠加、记忆与过拟合之间的关系，表明叠加允许模型在记忆过程中存储比其神经元数量更多的特征。
Yabble GPT-3 集成用于客户反馈分析
Yabble 集成了 OpenAI 的 GPT-3，将分析复杂客户反馈数据集所需的时间从数周缩短至数分钟。