✷ 归档 · 11 个实验室 · 869 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 和 MILA 已针对 Intel Gaudi 2 加速器优化了 ProtST 多模态蛋白质语言模型，实现了相较于 NVIDIA A100 GPU 高达 2.92 倍的微调加速。
Hugging Face Transformers 代码代理 GAIA 基准测试结果
Hugging Face 使用基于 transformers.agents 库构建的代码代理在 GAIA 基准测试中取得了最高排名，证明了代码化操作比基于 JSON 的工具调用更高效、更有效。
Google Gemma 2 发布说明
Google 已发布 Gemma 2，这是一系列开放权重的大语言模型，提供 9B 和 27B 参数规模，采用蒸馏和注意力机制等技术创新以提升性能。
XLSCOUT ParaEmbed 2.0 发布
XLSCOUT 已发布 ParaEmbed 2.0，这是一款在专家策划的专利数据上微调的专有嵌入模型，准确率比 ParaEmbed 1.0 提高了 23%。
Hugging Face伦理与社会通讯 #6：数据质量的重要性
Hugging Face概述了一种整体且负责任的数据质量方法，强调高质量数据必须适合其预期用途，以确保AI模型性能、公平性和科学可重复性。
微调 Microsoft Florence-2 用于 DocVQA
Hugging Face 演示了如何在 DocVQA 数据集上微调微软的 Florence-2 视觉语言模型，经过七个 epoch 后，验证相似度从 0 提升至 57.0。
Hugging Face 数据共建倡议
Hugging Face 与 Argilla 发起了 “Data Is Better Together”（DIBT）倡议，旨在赋能开源社区共同创建高质量、多样且包容的机器学习数据集。
Prezi 案例研究：通过 Hugging Face 专家支持加速机器学习路线图
Prezi 正在利用 Hugging Face 专家支持计划和 Inference Endpoints，将高效的开源多模态模型集成到其 Prezi AI 演示生成工具中。
BigCodeBench：用于复杂 Python 代码生成的新基准
Hugging Face 已发布 BigCodeBench，这是一套包含 1,140 个函数级任务的基准，旨在评估 LLM 在实用编程和多库使用方面的能力，解决了 HumanEval 的简单性和污染问题。
Hugging Face Accelerate：统一 DeepSpeed 与 FSDP 的精度
Hugging Face Accelerate 0.30.0 引入了对 PyTorch FSDP 的自动上转，以使其精度处理与 DeepSpeed 对齐，从而实现两种后端之间的无缝切换且不损失收敛性。
Stable Diffusion 3 Medium 与 Diffusers 的集成
Hugging Face 已将 Stable Diffusion 3 Medium（2B 参数）集成到 Diffusers 库中，引入了多模态扩散 Transformer（MMDiT）和校正流匹配，以提升文本到图像的合成效果。
Hugging Face TRL RLOO 训练器发布
Hugging Face 在 TRL 中推出了 RLOO（REINFORCE Leave One-Out）训练器，这是一种在线 RLHF 算法，使用的显存（vRAM）减少 50-70%，收敛速度比 PPO 快至 3 倍，同时在性能上保持竞争力。
Hugging Face 嵌入容器 for Amazon SageMaker 发布
Hugging Face 已发布正式可用（GA）的 Amazon SageMaker 嵌入容器，该容器由 Text Embedding Inference (TEI) 提供动力，用于高性能部署开源嵌入模型。
Hugging Face Transformers 文档重新设计
Hugging Face 正在重新设计 Transformers 文档，以从僵化的增量结构转变为面向产品开发者的代码优先、整体整合的体验。
人工分析文本到图像排行榜与竞技场发布
Hugging Face 推出了人工分析文本到图像排行榜与竞技场，利用超过 45,000 票的人类偏好数据，对开源和专有图像生成模型进行排名。
Hugging Face NPC-Playground：在 3D 环境中集成 LLM 驱动的 NPC
Hugging Face 推出 NPC-Playground，这是一款使用 Cubzh 和 Gigax 的 3D 演示，通过函数调用和 Lua 脚本实现逼真的 LLM 驱动 NPC 交互。
Intel Gaudi 辅助生成支持
Hugging Face 已将辅助生成（投机采样）集成到 Optimum Habana 中，使基于 Intel Gaudi 处理器的大型 Transformer 模型实现最高约 2 倍的加速。
Hugging Face Spaces 密钥安全更新
Hugging Face 披露了一起安全事件，涉及未经授权访问 Spaces 密钥的一个子集，导致受影响的令牌被撤销，并过渡到使用细粒度访问令牌。
文本生成推理基准测试
Hugging Face 推出了一款文本生成推理（TGI）基准测试工具，帮助开发者分析吞吐量与延迟之间的权衡，以优化大语言模型部署的成本和性能。
使用 Sentence Transformers 进行嵌入模型的训练与微调
Hugging Face 提供了使用 Sentence Transformers 库训练和微调嵌入模型的完整指南，适用于语义搜索、RAG 等任务，并引入了全新的 SentenceTransformerTrainer。
Falcon 2 11B 发布说明
TII 已发布 Falcon 2 11B，这是一系列更小且高性能的模型，包括在超过 5 万亿标记上训练的预训练 LLM 和视觉语言模型（VLM）。
CyberSecEval 2：评估大型语言模型的网络安全风险
Hugging Face 和 Meta 推出了 CyberSecEval 2，这是一套用于评估 LLM 对代码解释器滥用、攻击性网络安全能力以及提示注入攻击易感性的综合框架。
Hugging Face AWS Inferentia2 集成
Hugging Face 已扩展对 AWS Inferentia2 的支持，使得可以通过 Amazon SageMaker 部署超过 100,000 个模型，并为 Hugging Face 推理端点引入了新的 Inf2 实例选项。
Hugging Face 与 Microsoft 战略合作更新（2024年5月）
Hugging Face 与 Microsoft 扩大了战略合作，将流行的开源模型集成到 Azure 模型目录，支持 Azure 上的 AMD MI300X GPU，并为 Hugging Face Spaces 引入了 VS Code 集成。
Hugging Face 对 AMD Instinct MI300 GPU 的集成
Hugging Face 为 AMD Instinct MI300 GPU 提供了一流的集成，使 Llama 3 70B 的推理速度提升至最高 3 倍，微调速度提升至 2 倍，相较于 MI250。
Dell Enterprise Hub：本地 AI 部署与训练
Hugging Face 与 Dell 联手推出 Dell Enterprise Hub，这是一套简化在 Dell 硬件上本地训练和部署开源大型语言模型的平台。
Hugging Face Spaces 开发模式发布
Hugging Face 推出了 Spaces 开发模式，允许 PRO 订阅者通过 VS Code 或 SSH 进行实时代码编辑，无需为每一次更改进行 git 推送。
Hugging Face KV 缓存量化
Hugging Face 在 Transformers 库中引入了 KV 缓存量化，以在对模型质量影响最小的情况下降低长上下文文本生成的内存使用。
介绍开放阿拉伯语大型语言模型排行榜
Hugging Face 与技术创新研究所推出了开放阿拉伯语大型语言模型排行榜（OALL），为阿拉伯语大型语言模型提供了一个专门的、开放的评估平台。
PaliGemma 视觉语言模型发布
Google 已发布 PaliGemma，这是一系列结合 SigLIP-So400m 和 Gemma-2B 的开源视觉语言模型，可实现图像字幕、视觉问答和目标检测等任务。
Hugging Face 与 LangChain 推出 langchain_huggingface 合作包
Hugging Face 与 LangChain 已发布 langchain_huggingface，这是一个共同维护的合作包，旨在简化 Hugging Face 模型在 LangChain 生态系统中的集成。
Transformers Agents 2.0 release notes / what's new
Hugging Face 推出了 Transformers Agents 2.0，这是一个模块化智能体框架，其特点是具备迭代式问题解决智能体，并且使用 Llama-3-70B-Instruct 在 GAIA 基准测试中表现出高性能。
使用 Intel Gaudi 2 和 Intel Xeon 构建成本高效的企业 RAG 应用
Hugging Face 演示了通过 OPEA 框架将 Intel Gaudi 2 加速器与 Intel Xeon CPU 结合使用，如何使企业能够构建相较于基于 H100 系统具有更高性价比的 RAG 应用。
Hugging Face 企业中心现已在 AWS Marketplace 上提供
Hugging Face 已将 Enterprise Hub 与 AWS Marketplace 集成，使组织能够升级其账户并通过 AWS 账户直接管理计费。
Hugging Face 开放排行榜（针对希伯来语 LLM）
Hugging Face 推出了专门用于评估和提升希伯来语大型语言模型（LLM）的开放排行榜，旨在应对资源匮乏和形态复杂语言的挑战。
人工分析 LLM 性能排行榜 在 Hugging Face
Hugging Face 已集成 Artificial Analysis LLM Performance Leaderboard，为 AI 工程师提供统一的度量体系，以比较 100 多个无服务器 LLM API 端点的质量、价格和速度。
Hugging Face 推理端点 ASR 与说话人分离流水线
Hugging Face 推出了一款自定义推理处理程序，用于在推理端点上部署结合 Whisper ASR、Pyannote 分离和推测解码的模块化流水线。
通过结构化生成提升提示一致性
Hugging Face 与 Dottxt 的研究表明，使用结构化生成来约束 LLM 输出可以降低性能差异，并提升在不同提示格式和示例顺序下的排名一致性。
StarCoder2-15B-Instruct-v0.1 发布说明 / 新功能
Hugging Face 推出 StarCoder2-15B-Instruct-v0.1，这是首个使用完全透明且宽松的流水线进行全自我对齐的代码大语言模型，在 HumanEval 上超越了 CodeLlama-70B-Instruct。
Hugging Face 开放链式思考排行榜
Hugging Face 推出了开放链式思考排行榜，用于衡量链式思考提示在各种大型语言模型上对复杂推理任务所带来的特定准确率提升。
全能型（JAT）多用途变压器代理
Hugging Face 推出全能型（JAT），一种基于单一 Transformer 的代理，能够在 Atari、BabyAI、Meta-World 和 MuJoCo 环境中执行多样的序列决策任务。
开放医学-LLM 排行榜：在医疗领域对大型语言模型进行基准评估
Hugging Face 推出了开放医学-LLM 排行榜，一个标准化平台，用于在多样化医学数据集上评估和比较 LLM 的性能，以提升可靠性和患者安全。
Meta Llama 3 发布说明
Meta 发布了 Llama 3，这是一款开放获取的 LLM 系列，提供 8B 和 70B 参数模型，具备改进的分词器，并在 15 万亿 token 上进行训练。
Ryght 案例研究：使用 Hugging Face 构建生命科学生成式 AI 平台
Ryght 已推出 Ryght Preview，这是一款面向医疗保健和生命科学的企业级生成式 AI 平台，利用 Hugging Face 的专家支持、TGI 和 TEI，提供安全、灵活且高性能的 AI 副驾驶。
在 Hugging Face 端点上运行隐私保护推理
Hugging Face 与 Zama 已实现通过 Hugging Face 端点部署全同态加密（FHE）模型，使用户能够在加密数据上进行机器学习推理，而无需解密。
LiveCodeBench 排行榜：无污染的代码 LLM 评估
Hugging Face 推出了 LiveCodeBench 排行榜，这是一项由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发的新基准，用于评估 LLM 的代码生成和推理能力，并通过时间窗口问题集防止基准污染。
Gradio 重载模式加速 AI 应用开发
Gradio 的重载模式使开发者能够在不重启服务器的情况下即时将源代码更改应用到 AI 应用中，显著降低开发延迟。
Idefics2 8B 视觉语言模型发布 – 架构、数据与性能
Hugging Face 发布了 Idefics2，这是一款 8B 开源视觉语言模型，在 VQA 和 OCR 基准测试中优于其他 8B 模型，并可通过 🤗 Transformers 进行微调。
视觉语言模型概述
Hugging Face 提供了一份关于视觉语言模型（VLM）的综合指南，详细阐述了它们的架构、开源选项、评估基准，以及通过 TRL 库进行微调的全新实验性支持。
Hugging Face 与 Google Cloud Vertex AI 模型花园集成
Hugging Face 推出了 “Deploy on Google Cloud”，使用户能够通过 Hugging Face Hub 或 Vertex Model Garden 将数千个开源基础模型部署到 Vertex AI 或 Google Kubernetes Engine（GKE）。