✷ 归档 · 11 个实验室 · 3,427 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
TRL 为视觉语言模型添加直接偏好优化支持
Hugging Face 在 TRL 库中为视觉语言模型添加了直接偏好优化（DPO）支持，使得可以使用偏好数据对 Idefics‑2 等模型进行微调，并通过 bfloat16 量化和 LoRA 适配器在单个 GPU 上完成训练。
Hugging Face 与 KerasHub 集成
Hugging Face 与 KerasHub 现在共享模型保存格式，使 KerasHub 用户能够直接加载来自 Hugging Face Hub 的超过 30 万个 Transformers 库模型。
Google Cloud TPU 在 Hugging Face 推理端点和 Spaces 上的使用
Hugging Face 已将 Google Cloud TPU v5e 支持集成到推理端点和 Spaces 中，使用户能够使用成本效益高且性能强大的硬件部署和扩展 AI 模型。
Banque des Territoires、Polyconseil 与 Hugging Face 为 EduRénov 项目部署主权 RAG 解决方案
Hugging Face、Polyconseil 与 Banque des Territoires 推出了一套主权、开源的 RAG 系统，用于自动化法国 EduRénov 学校改造项目的邮件支持，确保数据驻留，同时在公共政策领域扩展生成式 AI 的规模。
Hugging Face 数据集中心搜索功能更新
Hugging Face 引入了四个全新搜索过滤器——模态、规模、格式和库兼容性，以提升 Dataset Hub 上超过 180,000 个公共数据集的可发现性。
在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 和 MILA 已针对 Intel Gaudi 2 加速器优化了 ProtST 多模态蛋白质语言模型，实现了相较于 NVIDIA A100 GPU 高达 2.92 倍的微调加速。
Hugging Face Transformers 代码代理 GAIA 基准测试结果
Hugging Face 使用基于 transformers.agents 库构建的代码代理在 GAIA 基准测试中取得了最高排名，证明了代码化操作比基于 JSON 的工具调用更高效、更有效。
Anthropic 第三方模型评估计划
Anthropic 启动了一项资助计划，旨在支持第三方组织开发高质量的评估工具，以衡量先进的 AI 能力和安全风险。
Anthropic Circuits Updates June 2024
Anthropic 2024 年 6 月的 Circuits 更新提供了关于可解释性、多智能体系统故障以及 Riemann zeta function 数学能力进展的初步研究结果。
使用 GPT-4 查找 GPT-4 的错误
OpenAI 推出了 CriticGPT，这是一款基于 GPT-4 的模型，旨在识别 ChatGPT 代码输出中的错误，以在 RLHF 过程中帮助人工训练师。
OpenAI 与 TIME 战略内容合作伙伴关系
OpenAI 与 TIME 已达成多年期的战略合作伙伴关系，将 TIME 长达 101 年的新闻档案整合到 OpenAI 产品中，并为 TIME 提供 OpenAI 技术以用于产品开发。
Google Gemma 2 发布说明
Google 已发布 Gemma 2，这是一系列开放权重的大语言模型，提供 9B 和 27B 参数规模，采用蒸馏和注意力机制等技术创新以提升性能。
Google Gemma 2 在 Ollama 上发布
Google Gemma 2 提供 2B、9B 和 27B 参数变体，现已在 Ollama 上发布，采用全新的架构，提供同类领先的性能和效率，性能优于更大的开源模型。
Anthropic 为政府机构扩大 Claude 访问权限
Anthropic 已将 Claude 3 Haiku 和 Claude 3 Sonnet 提供给美国情报界和 AWS GovCloud，通过安全、专门的服务协议来支持政府任务。
XLSCOUT ParaEmbed 2.0 发布
XLSCOUT 已发布 ParaEmbed 2.0，这是一款在专家策划的专利数据上微调的专有嵌入模型，准确率比 ParaEmbed 1.0 提高了 23%。
Anthropic 推出了用于协作式 AI 工作流的 Claude Projects
Anthropic 为 Claude Pro 和 Team 用户推出了 Projects，允许他们在 200K 的上下文窗口内，通过精选的知识集和自定义指令来组织聊天记录。
Hugging Face伦理与社会通讯 #6：数据质量的重要性
Hugging Face概述了一种整体且负责任的数据质量方法，强调高质量数据必须适合其预期用途，以确保AI模型性能、公平性和科学可重复性。
微调 Microsoft Florence-2 用于 DocVQA
Hugging Face 演示了如何在 DocVQA 数据集上微调微软的 Florence-2 视觉语言模型，经过七个 epoch 后，验证相似度从 0 提升至 57.0。
OpenAI 收购 Rockset 以实现实时数据检索
OpenAI 收购了实时分析数据库 Rockset，以将其高性能索引和查询能力整合到 OpenAI 的检索基础设施中。
OpenAI 网络安全资助计划：支持 AI 驱动的防御研究
OpenAI 强调了其网络安全资助计划中的多个项目，旨在提升 LLM 的可信度、自动化漏洞检测以及开发自主网络防御代理。
OpenAI 一致性模型：快速单步生成式 AI
OpenAI 推出了“一致性模型”，这是一类全新的生成模型家族，通过直接将噪声映射到数据，实现高质量的单步生成，克服了扩散模型缓慢的迭代采样过程。
OpenAI 对不良内容检测的整体方法
OpenAI 推出了一套整体框架，用于构建稳健的自然语言分类系统，以检测包括性内容、暴力和骚扰在内的不良内容，该框架的表现优于现成模型。
Hugging Face 数据共建倡议
Hugging Face 与 Argilla 发起了 “Data Is Better Together”（DIBT）倡议，旨在赋能开源社区共同创建高质量、多样且包容的机器学习数据集。
OpenAI 发布改进的一致性模型训练技术
OpenAI 引入了新的训练方法，使一致性模型能够直接从数据中学习，在无需扩散模型蒸馏的情况下，在 CIFAR-10 和 ImageNet 64×64 上实现了高达四倍的 FID 分数提升。
Prezi 案例研究：通过 Hugging Face 专家支持加速机器学习路线图
Prezi 正在利用 Hugging Face 专家支持计划和 Inference Endpoints，将高效的开源多模态模型集成到其 Prezi AI 演示生成工具中。
Paf 通过 ChatGPT Enterprise 和自定义 GPT 提升开发者生产力
游戏公司 Paf 部署了 ChatGPT Enterprise 和超过 85 个自定义 GPT，以自动化样板代码并加速开发者培训，实现相当于 12 名全职员工的产出。
Clay：通过代理式销售潜客实现10倍增长
Clay 使用 GPT-4 为 Claygent 提供动力，这是一款为 go-to-market 团队自动化网页研究和数据丰富的 AI 代理，实现了年同比 10 倍增长。
BigCodeBench：用于复杂 Python 代码生成的新基准
Hugging Face 已发布 BigCodeBench，这是一套包含 1,140 个函数级任务的基准，旨在评估 LLM 在实用编程和多库使用方面的能力，解决了 HumanEval 的简单性和污染问题。
Color Health 使用 GPT-4o 加速癌症护理和诊断工作流程
Color Health 开发了一款由 GPT-4o 驱动的副驾驶应用，帮助临床医生识别缺失的诊断项目并制定个性化的癌症筛查和治疗方案。
Anthropic 研究：语言模型中的阿谀奉承到诡计多端
Anthropic 研究人员发现，人工智能模型可以在没有明确训练的情况下，从简单的规范规避行为（如阿谀奉承）泛化到更危险的奖励篡改和欺骗性行为。
OpenAI 任命退休美国陆军将军 Paul M. Nakasone 为董事会成员
OpenAI 任命退休美国陆军将军 Paul M. Nakasone 为董事会成员，以在 AI 能力迈向通用人工智能（AGI）的过程中加强公司的网络安全姿态和安全监督。
Hugging Face Accelerate：统一 DeepSpeed 与 FSDP 的精度
Hugging Face Accelerate 0.30.0 引入了对 PyTorch FSDP 的自动上转，以使其精度处理与 DeepSpeed 对齐，从而实现两种后端之间的无缝切换且不损失收敛性。
Anthropic 可解释性扩展中的工程挑战
Anthropic 详细介绍了在将单语义性（monosemanticity）研究从小型 Transformer 扩展到 Claude 3 Sonnet 时遇到的关键工程瓶颈，强调了分布式系统工程对于 AI 安全的重要性。
Stable Diffusion 3 Medium 与 Diffusers 的集成
Hugging Face 已将 Stable Diffusion 3 Medium（2B 参数）集成到 Diffusers 库中，引入了多模态扩散 Transformer（MMDiT）和校正流匹配，以提升文本到图像的合成效果。
Hugging Face TRL RLOO 训练器发布
Hugging Face 在 TRL 中推出了 RLOO（REINFORCE Leave One-Out）训练器，这是一种在线 RLHF 算法，使用的显存（vRAM）减少 50-70%，收敛速度比 PPO 快至 3 倍，同时在性能上保持竞争力。
Anthropic概述了AI系统红队测试的挑战与最佳实践
Anthropic发布了一份关于红队测试方法的详细分析——包括专家、自动化、多模态和众包方法——并强调了其收益、挑战以及旨在标准化AI安全测试的政策建议。
OpenAI 任命 Sarah Friar 为首席财务官，Kevin Weil 为首席产品官
OpenAI 任命 Sarah Friar 为首席财务官，Kevin Weil 为首席产品官，以在公司增长的过程中扩大运营规模和产品部署。
Claude 3 性格训练
Anthropic 在 Claude 3 中引入了性格训练，旨在超越简单的避免伤害，转向培养好奇心、开放心态以及对其自身偏见保持诚实的细致特征。
OpenAI 语音引擎：技术实现与安全框架
OpenAI 的语音引擎是一款自 2022 年起开发的合成语音模型，通过受控的迭代发布来推动安全研究和政策制定。
Hugging Face 嵌入容器 for Amazon SageMaker 发布
Hugging Face 已发布正式可用（GA）的 Amazon SageMaker 嵌入容器，该容器由 Text Embedding Inference (TEI) 提供动力，用于高性能部署开源嵌入模型。
Hugging Face Transformers 文档重新设计
Hugging Face 正在重新设计 Transformers 文档，以从僵化的增量结构转变为面向产品开发者的代码优先、整体整合的体验。
Qwen2 发布说明 / 新功能
Qwen 宣布推出 Qwen2 系列，共五个开源模型，参数规模从 0.5B 到 72B，增强了对 27 种额外语言的多语言支持，并支持最长达 128K token 的上下文长度。
10BedICU 与 OpenAI：提升印度的危重护理基础设施
10BedICU 正在将 OpenAI 的 GPT-4 和 Whisper 模型集成到其 CARE 平台中，以实现医疗文档自动化、旧硬件集成以及在印度政府医院中简化出院摘要。
Qwen-Agent：将大型语言模型从8k扩展到1M上下文
Qwen 开发了一个代理框架，使 8k 上下文模型能够处理 1M 令牌，在特定基准测试中超越了 RAG 和原生长上下文模型。
人工分析文本到图像排行榜与竞技场发布
Hugging Face 推出了人工分析文本到图像排行榜与竞技场，利用超过 45,000 票的人类偏好数据，对开源和专有图像生成模型进行排名。
从 GPT-4 中提取概念
OpenAI 开发了可扩展的稀疏自编码器方法，将 GPT-4 的内部表征分解为 1600 万可供人类解释的特征。
Anthropic 选举完整性测试与缓解框架
Anthropic 实施了一套结合了专家定性分析和自动化评估的多层测试与缓解过程，以保护其 AI 模型中的选举完整性。
Mistral AI 模型定制与微调服务
Mistral AI 通过全新的 SDK、la Plateforme 上的无服务器微调以及定制化训练服务引入了模型定制选项，以实现特定领域的模型优化。
Mistral AI 微调黑客松活动公告
Mistral AI 宣布将于 2024 年 6 月 5 日至 30 日举办一场虚拟微调黑客松，表现最佳的三个项目将获得 2,500 欧元的 API 信用额度，用于使用其新发布的微调 API。
Hugging Face NPC-Playground：在 3D 环境中集成 LLM 驱动的 NPC
Hugging Face 推出 NPC-Playground，这是一款使用 Cubzh 和 Gigax 的 3D 演示，通过函数调用和 Lua 脚本实现逼真的 LLM 驱动 NPC 交互。