✷ 封存 · 11 個實驗室 · 870 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Hugging Face 推理提供者整合
Hugging Face 已將四個無伺服器推理提供者——fal、Replicate、SambaNova 和 Together AI——直接整合到 Hub 中，以提供統一、以模型為中心的無伺服器推理。
Diffusers 中開放視訊生成模型的現狀
Hugging Face 提供開放視訊生成模型的全面概述，並介紹了一套 Diffusers 優化方案，可將 HunyuanVideo 等模型的顯存需求從 60GB 減少至約 6.5GB。
smolagents 視覺支援更新
Hugging Face 已為 smolagents 添加了原生視覺支援，使得在代理管道中可以使用視覺語言模型（VLMs）來執行如自主網頁瀏覽等任務。
NVIDIA KVPress：長上下文 LLMs 的 KV 壓縮工具箱
NVIDIA 已發布 KVPress，這是一個 Python 工具箱，實現了最先進的 KV 快取壓縮技術，以減少長上下文大型語言模型的記憶體佔用並提升解碼速度。
SmolVLM 256M 與 500M 發布說明
Hugging Face 推出 SmolVLM-256M 與 SmolVLM-500M，提供高效能的視覺語言模型，在參數數量顯著減少的情況下仍能保持強大的多模態性能。
Hugging Face 與 FriendliAI 合作進行模型部署
Hugging Face 已將 FriendliAI 的推理基礎設施整合到 Hugging Face Hub，啟用一鍵部署生成式 AI 模型到高效能端點。
Hugging Face 組織部落格文章功能
Hugging Face 現在允許已訂閱 Enterprise Hub 的組織直接在其組織個人資料頁發布部落格文章。
Hugging Face Text Generation Inference (TGI) 多後端支援
Hugging Face 已為 Text Generation Inference (TGI) 引入多後端架構，允許使用者透過統一前端利用如 TensorRT-LLM 和 vLLM 等各種執行引擎部署 LLM。
Hugging Face Transformers timm 整合
Hugging Face 已推出 TimmWrapper，使得 PyTorch Image Models (timm) 庫中的任何模型都能在 transformers 生態系統中無縫用於推理、量化和微調。
使用 Sentence Transformers 訓練速度快 400 倍的靜態嵌入模型
Hugging Face 推出了一種訓練靜態嵌入模型的方法，這些模型在 CPU 上的運行速度快 100x–400x，同時能保留如 all‑mpnet‑base‑v2 等模型至少 85% 的品質，並發布了兩個模型（static‑retrieval‑mrl‑en‑v1 和 static‑similarity‑mrl‑multilingual‑v1）以及訓練腳本和評估結果。
Hugging Face AI 代理人倫理與框架分析
Hugging Face 提供了一個全面的框架來理解 AI 代理人，主張風險隨著自主性增加而上升，並建議不要開發完全自主的 AI 代理人。
Hugging Face 發布 vdr-2b-multi-v1 多語言視覺文檔檢索模型
Hugging Face 已推出 vdr-2b-multi-v1，一種多語言嵌入模型，用於視覺文檔檢索，透過將頁面截圖編碼為密集向量，使得無需 OCR 即可搜索複雜文檔。
Hugging Face Open LLM Leaderboard：CO₂ 排放與模型性能分析
Hugging Face 揭露，由於簡潔度提高和指令遵循能力的增強，社群微調模型通常比官方版本展現出更高的碳效率。
Hugging Face smolagents 發布
Hugging Face 已推出 smolagents，一個輕量級庫，使 LLMs 能透過以可執行程式碼而非 JSON 的形式撰寫動作來執行複雜任務，從而提升組合性和通用性。
在 PyTorch 中視覺化並理解 GPU 記憶體 – Hugging Face Blog 摘要
Hugging Face 的部落格文章解釋了如何使用 torch.cuda.memory 工具在 PyTorch 中視覺化 GPU 記憶體使用情況，分解了模型訓練期間的記憶體組成，並提供了估算總記憶體需求的公式。
NVIDIA LogitsProcessorZoo：使用模組化 Logits 處理器控制語言模型生成
NVIDIA 的 LogitsProcessorZoo 為 Hugging Face Transformers 提供模組化 Logits 處理器，讓開發者可以控制生成長度、強制包含短語、引用提示內容，並將輸出限制為多選題選項。
Big Bench Audio 發布
Artificial Analysis 已發布 Big Bench Audio，這是一個包含 1,000 個音訊問題的資料集，旨在評估音訊語言模型的推理能力，揭示了文字與語音推理之間的顯著效能差距。
ModernBERT 發布說明
Hugging Face、Answer.AI 與 LightOn 已發布 ModernBERT，這是一個最先進的僅編碼器模型家族，提升了 BERT 的速度、準確度以及將上下文長度擴展至 8,192 個標記。
Bamba-9B：推理高效的 Hybrid Mamba2 模型
Bamba-9B 是由 IBM、Princeton、CMU 和 UIUC 開發的 hybrid Mamba2 模型，使用 2.2T 開放數據訓練，在 vLLM 中比 Llama 3.1 8B 實現了 2.5 倍的吞吐量和 2 倍的延遲改進，並可立即在 transformers、vLLM、TRL 和 llama.cpp 中使用。
在 GCP 上對第五代 Xeon 進行語言模型效能基準測試
Hugging Face 在 Google Cloud 的 C4（第五代 Xeon）和 N2（第三代 Xeon）實例上進行了文字嵌入與生成的基準測試，發現 C4 的嵌入吞吐量比 N2 高 10‑24 倍，生成吞吐量高 2.3‑3.6 倍，分別帶來 7‑19 倍和 1.7‑2.9 倍的總擁有成本優勢。
Falcon 3 發佈說明 / 新功能
技術創新研究所 (TII) 已發佈 Falcon 3，這是一個參數規模在 100 億以下的 decoder-only 大型語言模型系列，旨在提供高效率並增強科學、數學和程式碼編寫能力。
Hugging Face 合成資料產生器
Hugging Face 已推出 合成資料產生器，一個無需編碼的應用程式，允許使用者透過自然語言提示建立自訂的文字分類和聊天資料集。
LeMaterial v1.0: LeMat-Bulk 資料集發佈
LeMaterial v1.0 作為一項開源倡議正式啟動，發佈了 LeMat-Bulk 資料集。該資料集將來自 Materials Project、Alexandria 和 OQMD 的 670 萬條目統一成具有七種屬性的標準格式，旨在加速材料研發。
Hugging Face 文字到圖像生成的開放偏好資料集
Data is Better Together 社群已發布一個採用 Apache 2.0 授權的開放偏好資料集，用於文字到圖像生成，以解決模型對齊缺乏開放來源偏好資料的問題。
Hugging Face 模型在 Amazon Bedrock Marketplace
Hugging Face 已將 83 個開放模型整合到 Amazon Bedrock Marketplace，使 AWS 客戶能夠在受管理的基礎設施上部署開放模型，同時保持與 Bedrock API 的相容性。
PaliGemma 2 發行說明
Google 已發布 PaliGemma 2，這是一個新的視覺語言模型系列，將 SigLIP 圖像編碼器與 Gemma 2 文本解碼器結合，涵蓋三種參數規模和多種輸入解析度。
LLM 修正錯誤的能力有多強？使用 Keras 與 TPUs 的聊天機器人競技場實驗
Hugging Face 在一個簡單的日曆 API 任務上測試了數個 10B 以下的 LLM，發現 Gemma 2 9B 能以極少的提示持續修正錯誤，而較小和較舊的模型則表現掙扎或需要多次糾正回合。
AraGen 基準與排行榜：引入 3C3H 評估以評估阿拉伯語 LLMs
Hugging Face 推出 AraGen，一個用於阿拉伯語 LLMs 的動態基準與排行榜，使用 3C3H 度量來評估正確性、完整性、簡潔性、有用性、誠實性和無害性。
Hugging Face CFM 案例研究：利用 LLM 洞見微調小型模型
資本基金管理（CFM）透過使用 Llama 3.1 協助標註資料以微調 GLiNER 和 SpanMarker 等緊湊模型，將金融命名實體識別（NER）準確度提升最高 6.4%，並將推論成本降低最高 80倍。
開源開發者指南：EU AI 法案
Hugging Face 指南解釋 EU AI 法案如何適用於開源 AI 開發者，概述有限風險 AI 系統和非系統性風險通用人工智慧模型的義務，並指向合規工具。
Hugging Face Hub 儲存重新架構
Hugging Face 正透過引入內容定址儲存（CAS）來重新設計其上傳和下載架構，以實現位元級別的去重複化，並提升巨型 AI 模型的全球傳輸速度。
SmolVLM 版本說明 / 新功能
Hugging Face 推出 SmolVLM，一個參數量為 2B 的視覺語言模型（VLM），完全開源，並針對低記憶體佔用和高吞吐量在邊緣設備上進行優化。
您本可以設計出最先進的位置編碼
Hugging Face 部落格文章逐步說明了 transformer 的位置編碼迭代設計，展示了正弦編碼如何導致旋轉位置編碼 (RoPE)，以及為什麼它對建模標記關係很重要。
Hugging Face 與 LLM-jp 推出開放日語 LLM 排行榜
Hugging Face 與 LLM-jp 已推出開放日語 LLM 排行榜，一個透明的評估平台，包含超過 20 個資料集，用於基準測試日語大型語言模型的效能。
Hugging Face 引入內容定義分塊以提升儲存效率
Hugging Face 透過其 Xet 團隊宣布了一種內容定義分塊儲存方法，該方法僅上傳已修改的區塊，從而降低大型模型和資料集檔案的儲存和傳輸成本。
使用自推測解碼加速文本生成
Hugging Face 透過 LayerSkip 引入自推測解碼，該方法利用單一大型語言模型的早期層進行草擬，後期層進行驗證，以提升生成速度並降低記憶體開銷。
FlagEval 辯論：全新多語言 LLM 評估框架
BAAI 已推出 FlagEval 辯論，一個動態評估平台，LLM 在此平台上進行多語言辯論，以更好地評估推理、邏輯和對抗能力。
Hugging Face Judge Arena: 將LLMs作為評估者進行基準測試
Hugging Face 已推出 Judge Arena，這是一個利用人工投票來判定哪些 LLMs 作為評估者最有效的眾包平台，用於為其他 AI 生成的回應進行評分。
Hugging Face Hub 資料集共享給研究者
Hugging Face Hub 提供一個綜合平台，用於託管和共享大規模 ML 資料集，並具備整合的探索、安全和社區參與工具。
Hugging Face PyCharm 整合
Hugging Face 已將其 Hub 直接整合至 PyCharm Professional，讓開發者無需離開 IDE 即可探索、插入並管理機器學習模型。
Argilla 2.4 版本說明 / 新功能
Argilla 2.4 引入無程式碼 UI，讓使用者可匯入 Hugging Face Hub 資料集，透過人類回饋建立微調與評估資料集。
通用輔助生成：使用任何助理模型加速解碼
Hugging Face 與 Intel Labs 推出通用輔助生成（UAG），這種方法允許任何小型模型作為助理模型加速 LLM 推理，提升 1.5 倍至 2.0 倍的效能，且不受分詞器限制。
Digital Green Farmer.chat: 以 LLM 作為評審提升 RAG
Digital Green 為 Farmer.chat（基於 RAG 的農業聊天機器人）實施了 LLM 作為評審的評估框架，以客觀衡量 RAG 準確度並在 34 萬次查詢中優化模型選擇。
Aya Expanse 發布：推進多語言大型語言模型效能
Hugging Face 與 Cohere For AI 已發布 Aya Expanse，這是一系列 8B 與 32B 開放權重模型，創下多語言效能的新最高基準。
HUGS 發布：零配置、硬體最佳化的開源大型語言模型推論服務
Hugging Face 推出 HUGS，一項零配置、硬體最佳化的開源大型語言模型推論服務，支援 NVIDIA、AMD，未來將支援 AWS Inferentia 與 Google TPU，讓企業能在內部部署模型，並提供相容 OpenAI 的 API。
CinePile 2.0 發布：對抗式精煉提升影片問答資料集品質
CinePile 2.0 引入對抗式精煉流程，將薄弱的 QA 配對升級為依賴視覺的問題，並同時發布改進後的資料集與完整程式碼，顯示商業與開源影片大型語言模型皆有顯著效能提升。
Transformers v4.46.0 中的 SynthID Text 整合
Google DeepMind 與 Hugging Face 已將 SynthID Text 整合至 Transformers v4.46.0，提供一種在 AI 生成文字上加上不可察覺水印，並透過訓練好的分類器進行偵測的方法。
在 Hugging Face 推論端點上部署 Speech-to-Speech
Hugging Face 提供了一份指南，說明如何在推論端點上使用自訂 Docker 映像部署其 Speech-to-Speech (S2S) 管線，以應對高計算需求並降低延遲。
Outlines-core 0.1.0 版本說明 / 新功能
Hugging Face 和 dottxt 已發布 outlines-core 0.1.0，這是 Outlines 核心演算法的 Rust 移植版，用於結構化生成，提升了索引編譯速度與可移植性。
Stable Diffusion 3.5 Large 與 Diffusers 整合
Hugging Face 已將 Stable Diffusion 3.5 Large（8B 參數模型，提供標準版與時間步蒸餾版）整合至 Diffusers 函式庫。