✷ 归档 · 11 个实验室 · 869 篇 dispatch
实验室
不用每天手动刷十几个官方博客。OpenAI、Anthropic、DeepMind 等实验室的一手发布，每篇都提炼出核心内容。
Hugging Face 推理提供商集成
Hugging Face 已将四个无服务器推理提供商——fal、Replicate、SambaNova 和 Together AI——直接集成到 Hub 中，以提供统一的、以模型为中心的无服务器推理。
Diffusers 中的开放视频生成模型现状
Hugging Face 对开放视频生成模型提供了全面的概述，并介绍了一套 Diffusers 优化方案，可将 HunyuanVideo 等模型的显存需求从 60GB 降低至约 6.5GB.
smolagents 视觉支持更新
Hugging Face 为 smolagents 添加了原生视觉支持，使得 Vision Language Models (VLMs) 可以在 agentic 流水线中用于诸如自主网页浏览之类的任务。
NVIDIA KVPress: 用于长上下文 LLMs 的 KV 缓存压缩工具包
NVIDIA 已发布 KVPress，一个 Python 工具包，实现了最先进的 KV 缓存压缩技术，以减少长上下文大型语言模型的内存占用并提高解码速度。
SmolVLM 256M 和 500M 发布说明
Hugging Face 发布了 SmolVLM-256M 和 SmolVLM-500M，提供了高效的视觉语言模型，在参数量显著减少的情况下仍能保持强大的多模态性能。
Hugging Face 与 FriendliAI 合作进行模型部署
Hugging Face 已将 FriendliAI 的推理基础设施集成到 Hugging Face Hub，实现了生成式 AI 模型的一键部署到高性能端点。
Hugging Face 组织博客文章功能
Hugging Face 现在允许订阅了 Enterprise Hub 的组织直接在其组织资料上发布博客文章。
Hugging Face Text Generation Inference (TGI) 多后端支持
Hugging Face 为 Text Generation Inference (TGI) 引入了多后端架构，使用户能够通过统一的前端利用如 TensorRT-LLM 和 vLLM 等各种执行引擎部署 LLMs。
Hugging Face Transformers timm 集成
Hugging Face 已经引入了 TimmWrapper，使得 PyTorch Image Models (timm) 库中的任何模型都能够在 transformers 生态系统中无缝用于推理、量化和微调。
使用 Sentence Transformers 训练速度提升 400 倍的静态嵌入模型
Hugging Face 推出了一种训练静态嵌入模型的方法，该模型在 CPU 上的运行速度比 all‑mpnet‑base‑v2 等模型快 100x–400x，同时保留了至少 85% 的质量，并发布了两个模型（static‑retrieval‑mrl‑en‑v1 和 static‑similarity‑mrl‑multilingual‑v1）以及训练脚本和评估结果。
Hugging Face AI 代理伦理与框架分析
Hugging Face 提供了一个全面的框架来理解 AI 代理，认为风险随着自主性的增加而增加，并建议不要开发完全自主的代理。
Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索模型
Hugging Face 推出了 vdr-2b-multi-v1，这是一个用于视觉文档检索的多语言嵌入模型，通过将页面截图编码为密集向量，实现无需 OCR 即可搜索复杂文档。
Hugging Face Open LLM Leaderboard：CO₂ 排放与模型性能分析
Hugging Face 揭示，由于更高的简洁性和更强的指令遵循能力，社区微调模型通常比官方发布版本表现出更高的碳效率。
Hugging Face smolagents 发布
Hugging Face 已推出 smolagents，一个轻量级库，使 LLMs 能够通过将动作写为可执行代码而非 JSON 来执行复杂任务，从而提升可组合性和通用性。
可视化并理解 PyTorch 中的 GPU 内存 – Hugging Face 博客摘要
Hugging Face 的博客文章解释了如何使用 torch.cuda.memory 工具在 PyTorch 中可视化 GPU 内存使用情况，分解了模型训练期间的内存组成部分，并提供了估算总内存需求的公式。
NVIDIA LogitsProcessorZoo: 使用模块化 Logits 处理器控制语言模型生成
NVIDIA 的 LogitsProcessorZoo 为 Hugging Face Transformers 提供了模块化的 Logits 处理器，使开发者能够控制生成长度、强制短语包含、引用提示内容，并将输出限制为多选答案。
Big Bench Audio 发布
Artificial Analysis 发布了 Big Bench Audio，这是一个由 1,000 个音频问题组成的数据集，旨在评估音频语言模型的推理能力，揭示了文本和语音推理之间的显著性能差距。
ModernBERT 发布说明
Hugging Face、Answer.AI 和 LightOn 发布了 ModernBERT，这是一个最先进的仅编码器模型系列，在 BERT 的速度、准确性和上下文长度（达到 8,192 个标记）方面有所提升。
Bamba-9B: 推理高效的 Hybrid Mamba2 模型
Bamba-9B 是由 IBM、普林斯顿大学、CMU 和 UIUC 开发的 hybrid Mamba2 模型，基于 2.2T 开放 token 训练。在 vLLM 中，其吞吐量比 Llama 3.1 8B 高出 2.5 倍，延迟降低了 2 倍，并可立即在 transformers、vLLM、TRL 和 llama.cpp 中使用。
基于 GCP 的第五代 Xeon 的语言模型性能基准测试
Hugging Face 在 Google Cloud 的 C4（第五代 Xeon）和 N2（第三代 Xeon）实例上对文本嵌入和生成进行了基准测试，发现 C4 的嵌入吞吐量比 N2 高 10‑24×，生成吞吐量高 2.3‑3.6×，分别带来 7‑19× 和 1.7‑2.9× 的总体拥有成本优势。
Hugging Face 合成数据生成器
Hugging Face 已推出 Synthetic Data Generator，这是一个无代码应用程序，允许用户使用自然语言提示创建自定义文本分类和聊天数据集。
LeMaterial v1.0: LeMat-Bulk 数据集发布
LeMaterial v1.0 作为一项开源倡议正式发布，推出了 LeMat-Bulk 数据集。该数据集将来自 Materials Project、Alexandria 和 OQMD 的 670 万条条目统一到一种具有七种属性的标准格式中，旨在加速材料发现。
Hugging Face 文本到图像生成的开放偏好数据集
Data is Better Together 社区已发布一个采用 Apache 2.0 许可证的开放偏好数据集，用于文本到图像生成，以解决开源偏好数据缺乏以进行模型对齐的问题。
Hugging Face 模型在 Amazon Bedrock 市场
Hugging Face 已将 83 个开放模型集成到 Amazon Bedrock 市场，使 AWS 客户能够在托管基础设施上部署开放模型，同时保持与 Bedrock API 的兼容性。
PaliGemma 2 发布说明
Google 发布了 PaliGemma 2，这是一个新的视觉语言模型系列，将 SigLIP 图像编码器与 Gemma 2 文本解码器结合，覆盖三种参数规模和多种输入分辨率。
LLM 修复错误的能力如何？使用 Keras 和 TPUs 进行的聊天机器人竞技场实验
Hugging Face 在一个简单的日历 API 任务上测试了多个 10B 以下的 LLM，发现 Gemma 2 9B 能够以极少的提示词持续修复错误，而较小和较旧的模型则表现挣扎或需要多次纠正轮次。
AraGen 基准和排行榜：为阿拉伯语大语言模型引入 3C3H 评估
Hugging Face 推出了 AraGen，一个用于阿拉伯语大语言模型的动态基准和排行榜，使用 3C3H 衡量标准来评估正确性、完整性、简洁性、有用性、诚实性和无害性。
Hugging Face CFM 案例研究：利用 LLM 见解对小模型进行微调
Capital Fund Management (CFM) 通过使用 Llama 3.1 辅助标注数据来微调诸如 GLiNER 和 SpanMarker 等紧凑模型，将金融命名实体识别（NER）的准确率提高了最高 6.4%，并将推理成本降低了最高 80倍。
开源开发者指南：欧盟 AI 法案
Hugging Face 指南解释了欧盟 AI 法案如何适用于开源 AI 开发者，概述了有限风险 AI 系统和非系统性风险通用人工智能模型的义务，并指向合规工具。
Hugging Face Hub 存储重构
Hugging Face 通过引入内容寻址存储（CAS）正在重新设计其上传和下载架构，以实现字节级去重并提升巨型 AI 模型的全球传输速度。
SmolVLM 发布说明 / 新功能
Hugging Face 发布了 SmolVLM，一个具有 2B 参数的视觉语言模型（VLM），完全开源，并针对边缘设备的低内存占用和高吞吐量进行了优化。
你本来可以设计出最先进的位置编码
Hugging Face 博客文章逐步介绍了 Transformer 的位置编码的迭代设计，展示了正弦编码如何导致旋转位置编码（RoPE），以及它为何对建模 token 关系很重要。
Hugging Face 和 LLM-jp 发布开放的日语 LLM 排行榜
Hugging Face 和 LLM-jp 推出了开放的日语 LLM 排行榜，这是一个透明的评估平台，包含超过 20 个数据集，用于基准测试日语大型语言模型的性能。
Hugging Face 引入内容定义分块以提升存储效率
Hugging Face 通过其 Xet 团队宣布了一种内容定义分块存储方法，通过仅上传已修改的块来降低大型模型和数据集文件的存储和传输成本。
使用自推测解码的更快文本生成
Hugging Face 通过 LayerSkip 引入了自推测解码，这是一种使用单个 LLM 的早期层进行草稿、后期层进行验证的方法，以提高生成速度并降低内存开销。
FlagEval 辩论：一种新的多语言 LLM 评估框架
BAAI 已推出 FlagEval 辩论，一个动态评估平台，LLM 在其中进行多语言辩论，以更好地评估推理、逻辑和对抗能力。
Hugging Face Judge Arena: 将 LLM 作为评估器进行基准测试
Hugging Face 推出了 Judge Arena，这是一个通过人类投票来确定哪些 LLM 在评估其他 AI 生成的响应方面最有效的众包平台。
面向研究者的 Hugging Face Hub 数据集共享
Hugging Face Hub 提供一个综合平台，用于托管和共享大规模 ML 数据集，集成了用于探索、安全和社区参与的工具。
Hugging Face PyCharm 集成
Hugging Face 已将其 Hub 直接集成到 PyCharm Professional 中，允许开发人员在不离开 IDE 的情况下发现、插入和管理机器学习模型。
Argilla 2.4 发布说明 / 新功能
Argilla 2.4 引入了一个无需编码的 UI，用于导入 Hugging Face Hub 数据集，以通过人工反馈构建微调和评估数据集。
通用辅助生成：使用任意助手模型实现更快解码
Hugging Face 与 Intel Labs 推出了通用辅助生成（UAG），这是一种通过允许任何小模型充当助手（不受其分词器限制）来将大语言模型推理加速 1.5 倍至 2.0 倍的方法。
Digital Green Farmer.chat：通过 LLM‑as‑a‑Judge 加强 RAG
Digital Green 为 Farmer.chat（基于 RAG 的农业聊天机器人）实现了 LLM‑as‑a‑Judge 评估框架，以客观衡量 RAG 准确性并在 34 万条查询中优化模型选择。
Aya Expanse 发布：推动多语言大语言模型性能提升
Hugging Face 和 Cohere For AI 已发布 Aya Expanse，这是一系列 8B 和 32B 开源权重模型，创下了多语言性能的新最先进基准。
HUGS 发布：零配置、硬件优化的开源 LLM 推理
Hugging Face 推出 HUGS，这是一项零配置、硬件优化的开源 LLM 推理服务，支持 NVIDIA、AMD，未来还将支持 AWS Inferentia 和 Google TPU，使企业能够在内部托管模型，并提供兼容 OpenAI 的 API。
CinePile 2.0 发布：对抗性细化提升视频问答数据集质量
CinePile 2.0 引入了对抗性细化流水线，将薄弱的 QA 对升级为依赖视觉的问题，发布了改进后的数据集和完整代码，并展示了商业和开源视频‑LLM 的显著性能提升。
SynthID 文本集成于 Transformers v4.46.0
Google DeepMind 与 Hugging Face 已将 SynthID Text 集成到 Transformers v4.46.0 中，提供了一种对 AI 生成文本添加不可感知水印并通过训练分类器进行检测的方法。
在 Hugging Face 推理端点上部署语音到语音
Hugging Face 提供了一份指南，说明如何使用自定义 Docker 镜像在 Inference Endpoints 上部署其 Speech-to-Speech（S2S）流水线，以应对高计算需求并降低延迟。
Outlines-core 0.1.0 发布说明 / 新功能
Hugging Face 和 dottxt 已发布 outlines-core 0.1.0，这是 Outlines 核心算法的 Rust 移植版，用于结构化生成，提升了索引编译速度和可移植性。
Stable Diffusion 3.5 Large 与 Diffusers 的集成
Hugging Face 已将 Stable Diffusion 3.5 Large（一个 8B 参数模型，提供标准版和时间步蒸馏版）集成到 Diffusers 库中。
Hugging Face 与 Protect AI 合作，为模型安全添加 Guardian 扫描器
Hugging Face 与 Protect AI 合作，将 Guardian 扫描器嵌入 Hub，自动检测危险的模型序列化漏洞，提升整个机器学习社区的安全性。