✷ 封存 · 11 個實驗室 · 870 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Hugging Face 與 Google Cloud Vertex AI Model Garden 整合
Hugging Face 推出了「Deploy on Google Cloud」，使用者可透過 Hugging Face Hub 或 Vertex Model Garden，將數千個開源基礎模型部署至 Vertex AI 或 Google Kubernetes Engine（GKE）。
CodeGemma 發行說明 / 新功能
Google 已發布 CodeGemma，這是一個基於 Gemma、開放存取、專注於程式碼的 LLM 系列，於額外 5000 億個程式碼、數學與英語語料的 token 上進行訓練。
Hugging Face 公共政策計畫概覽與提交的資料
Hugging Face 宣布了一項全面的跨功能公共政策計畫，為美國、歐盟與英國的政策制定者提供詳細的立場文件、證詞與意見信，彰顯其負責任開放的承諾並塑造 AI 法規。
Hugging Face 與 Wiz 研究合作夥伴關係：AI 安全
Hugging Face 與 Wiz 合作，整合先進的漏洞管理與雲端安全姿態管理，以保護其平台及更廣泛的 AI/ML 生態系統。
Text2SQL 與 Hugging Face Dataset Viewer API 以及 DuckDB-NSQL-7B
Hugging Face 示範了如何使用 DuckDB-NSQL-7B 模型與 Dataset Viewer API，將自然語言問題轉換為 SQL 查詢，以分析超過 120,000 個開放資料集。
使用 🤗 Optimum Intel 在 Xeon 上加速 SetFit 推論
Hugging Face 示範了如何透過 🤗 Optimum Intel 函式庫的後訓練靜態量化，在 Intel Xeon CPU 上將 SetFit 模型的推論吞吐量提升至最高 7.8 倍。
Hugging Face 與 Cloudflare Workers AI 整合
Hugging Face 整合 Cloudflare Workers AI，為受歡迎的開源模型提供無伺服器 GPU 推論，讓開發者能以按請求付費的計價模式部署 AI 應用。
Pollen-Vision：機器人零樣本視覺模型的統一介面
Hugging Face 與 Pollen Robotics 團隊已發布 pollen-vision，這是一個整合零樣本視覺模型的開源庫，使機器人能夠在三維空間中偵測並定位未知物體。
Hugging Face Transformers：開源機器學習新手指南
Hugging Face 提供了完整的入門指南，說明如何使用 Transformers 函式庫與 Hub 部署與執行開源機器學習模型，例如 Microsoft 的 Phi-2。
嵌入量化：二元與標量技術實現更快、更便宜的檢索
Hugging Face 宣布了二元與 int8 嵌入量化，將記憶體使用量分別降低 32 倍或 4 倍，檢索速度提升至最高 45 倍，同時保留 96%–99% 的原始效能。
Hugging Face 與 Lighthouz AI 推出 Chatbot Guardrails Arena
Hugging Face 與 Lighthouz AI 已推出 Chatbot Guardrails Arena，這是一個社群驅動的壓力測試平台，旨在評估 LLM 及其防護欄位的資料隱私與安全性。
GaLore：在消費級硬體上推進大型模型訓練
GaLore 透過低秩梯度投影，將優化器狀態的記憶體需求降低超過 82.5%，從而使在消費級 GPU 上訓練十億參數模型成為可能。
Cosmopedia：大規模合成資料用於 LLM 預訓練
Hugging Face 推出 Cosmopedia，這是目前最大的開放式合成資料集，用於 LLM 預訓練，包含 3000 萬個檔案與 250 億個由 Mixtral-8x7B-Instruct-v0.1 產生的 token。
Phi-2 在 Intel Meteor Lake 上：本地 LLM 推論
Hugging Face 示範了如何在 Intel Meteor Lake（Core Ultra）處理器上，透過 OpenVINO 與 Optimum Intel 使用 4 位元量化，在本地執行 Microsoft Phi-2 模型。
Quanto：用於 Optimum 的 PyTorch 量化後端
Hugging Face 推出 Quanto，一個多功能且設備無關的 PyTorch 量化後端，適用於 Optimum，旨在簡化跨任何模態的低精度模型部署。
Hugging Face 在 DGX Cloud 上的訓練
Hugging Face 推出 Train on DGX Cloud，一項無需編碼的服務，讓 Enterprise Hub 組織能使用 NVIDIA H100 與 L40S GPU 微調開源模型。
WebSight 資料集與 Sightseer 模型
Hugging Face 推出了 WebSight，一個包含 200 萬筆螢幕截圖至 HTML 配對的合成資料集，以及 Sightseer，一個能將網頁螢幕截圖轉換為功能性 HTML 程式碼的視覺語言模型。
使用 Optimum Intel 與 fastRAG 的 CPU 優化嵌入
Hugging Face 與 Intel 推出了一種在 Xeon CPU 上加速嵌入模型的方法，使用 Optimum Intel 與 fastRAG，透過 int8 量化可實現最高 4.5 倍的延遲縮減與 4 倍的吞吐量提升。
ConTextual: 評估富文本場景中的多模態推理能力
Hugging Face 與 UCLA 研究人員推出了 ConTextual，這是一個旨在評估大型多模態模型 (LMMs) 如何在複雜且富文本的圖像中，對文本與視覺線索進行聯合推理的數據集與排行榜。
Hugging Face 與 Argilla 讓社群共同構建資料集
Hugging Face 與 Argilla 推出了一個精簡的工作流程，結合 Hugging Face Spaces 與 Argilla，讓社群能共同構建高品質的開源資料集。
Intel Gaudi 2 AI 加速器上的文字生成管線
Hugging Face 為 Intel Gaudi 2 AI 加速器推出自訂文字生成管線，透過 Optimum Habana 簡化 Llama 2 模型（7b、13b 與 70b）的部署。
StarCoder2 與 The Stack v2 發布
BigCode 已發布 StarCoder2，這是一個透明訓練的開源程式碼大型語言模型家族，提供 3B、7B 與 15B 參數規模，並以全新的大型 Stack v2 資料集為基礎。
Hugging Face TTS Arena：文本轉語音模型基準測試
Hugging Face 推出了 TTS Arena，一個群眾外包的並排比較工具與排行榜，使用 Elo 評分系統客觀衡量文本轉語音模型的品質。
AI 水印 101：工具與技術
Hugging Face 提供了關於圖像、文字與音訊的 AI 水印技術的完整概述，以對抗深偽並確保內容來源。
Matryoshka 嵌入模型簡介
Matryoshka 嵌入模型允許可變尺寸的嵌入向量，且可在不顯著影響效能的情況下截斷，從而在儲存空間、速度與準確度之間實現彈性取捨。
在 Hugging Face 上微調 Gemma 模型
Hugging Face 提供了一份指南，說明如何使用參數效率微調 (PEFT) 與低秩適應 (LoRA) 在 GPU 與雲端 TPU 上客製化 Google 的 Gemma 模型。
Hugging Face 與 Haize Labs 推出紅隊抗性排行榜
Hugging Face 與 Haize Labs 已推出紅隊抗性（RTR）基準，用於評估大型語言模型在針對特定安全違規類別的高品質、人類式對抗性提示下的韌性。
Google Gemma 開放式大型語言模型發布
Google 已發布 Gemma，這是一個基於 Gemini 的開放存取大型語言模型系列，提供 2B 與 7B 參數規模的基礎與指令微調變體。
Open Ko-LLM Leaderboard
Hugging Face 和 Upstage 推出了 Open Ko-LLM Leaderboard，透過使用私有測試集來防止污染，為韓語大型語言模型提供一個公平、透明的評估生態系統。
Hugging Face PEFT 新 LoRA 合併方法
Hugging Face 為 PEFT 函式庫引入了多種新合併方法，使用戶能即時結合同一基礎模型的多個 LoRA 適配器，以合成新的功能。
使用開源 LLM 產生合成資料降低自訂模型的成本、延遲與碳排放
Hugging Face 展示了使用開源 LLM 產生合成資料並微調小型 RoBERTa 模型，將推論成本從 $3061 降至 $2.7，延遲從數秒降至 0.13 秒，CO₂ 排放從約 1 t 降至 0.12 kg，同時在金融情緒分類上匹配 GPT‑4 的準確率。
AMD 全域 AI 開發者競賽
AMD 與 Hugging Face 合作推出全域 AI 開發者競賽，提供開發者免費使用 AMD 硬體以及現金獎勵，以在生成式 AI、機器人 AI 與 PC AI 領域打造 AI 應用程式。
Hugging Face TGI 訊息 API 發佈
Hugging Face 已在版本 1.4.0 起推出了用於文字生成推論（TGI）的訊息 API，使開放式 LLM 能相容 OpenAI Chat Completion API。
SegMoE：Segmind 擴散專家混合模型
SegMoE 是一個框架，透過將 Stable Diffusion 架構中的前饋層替換為稀疏 MoE 層，以建立 Mixture-of-Experts（MoE）擴散模型，從而提升提示詞的理解能力。
NPHardEval 排行榜：透過計算複雜度評估大型語言模型的推理能力
Hugging Face 推出 NPHardEval 排行榜，這是一個使用計算複雜度類別來量化衡量大型語言模型邏輯推理能力的動態基準測試。
PatchTST 在 Hugging Face 的整合
Hugging Face 已整合 PatchTST，一種基於 Transformer 的模型，透過時間序列 patch 與通道獨立性提升長期預測能力，並支援遷移學習。
Hugging Face 文本生成推理現在支援 AWS Inferentia2
Hugging Face 宣布 Text Generation Inference 在 AWS Inferentia2 上透過 Amazon SageMaker 正式上市，提供具成本效益且高吞吐量的 LLM 服務，作為 GPU 部署的替代方案。
開放式大型語言模型的憲法式 AI
Hugging Face 推出完整的食譜與 llm-swarm 工具，以在開放模型上實作憲法式 AI（CAI），讓模型能根據使用者自訂的原則進行可擴展的自我對齊，且不需昂貴的人類回饋。
企業情境排行榜：評估大型語言模型在實際應用情境中的表現
Hugging Face 與 Patronus AI 推出企業情境排行榜，以評估語言模型在六項實際商業任務上的表現，超越學術基準，衡量實務企業效用。
使用 Optimum Intel 在 Intel Xeon 上加速 StarCoder
Hugging Face 與 Intel 透過結合 8 位元量化與輔助生成，在第 4 代 Intel Xeon 處理器上為 StarCoder-15B 模型展示超過 7 倍的推論加速。
Hugging Face 幻覺排行榜發布與初步發現
Hugging Face 推出幻覺排行榜，以在多個開源資料集上評估大型語言模型的事實性與忠實性錯誤，提供透明的排名，協助模型選擇與研究。
AI 安全 LLM 安全排行榜
Hugging Face 與 Secure Learning Lab 推出了 LLM 安全排行榜，該排行榜由 DecodingTrust 框架提供支持，用於評估 LLM 在八個關鍵安全維度上的可信度。
Hugging Face 與 Google Cloud 戰略合作夥伴關係
Hugging Face 與 Google Cloud 已建立戰略合作夥伴關係，透過將開放模型與 Google Cloud 的 AI 基礎設施與硬體結合，讓機器學習更普及。
開源 LLM 作為 LangChain 代理人
Hugging Face 展示了開源 LLM，特別是 Mixtral-8x7B，現在已能驅動代理工作流程，且在通用推理任務上可超越 GPT-3.5。
微調 Wav2Vec2-BERT 以應對低資源語音辨識
Hugging Face 示範了如何微調 Meta 的 Wav2Vec2-BERT 模型以在低資源語言上進行自動語音辨識 (ASR)，達到與 Whisper-large-v3 相當的效能，同時速度顯著更快且資源使用更有效率。
PatchTSMixer 新增至 Hugging Face Transformers – 發布與快速入門指南
PatchTSMixer 是 IBM Research 推出的輕量級 MLP‑Mixer 時間序列模型，現已在 Hugging Face Transformers 中發布，提供最先進的預測能力，同時大幅降低記憶體與執行時間成本。
使用直接偏好優化方法調整 LLM 偏好 – DPO、IPO 與 KTO 的實證比較
Hugging Face 評估了兩個 7B 聊天模型上的 DPO、IPO 與 KTO 對齊方法，結果顯示只要適當調整 β 超參數，DPO 始終優於其他方法。
使用 ONNX Runtime 與 Olive 加速 SD Turbo 與 SDXL Turbo 推論
Hugging Face 與 Microsoft 引入使用 ONNX Runtime 與 Olive 的優化，使 SDXL Turbo 的吞吐量提升高達 229%，SD Turbo 提升 120%，相較於 PyTorch。
在 Hugging Face Spaces 上使用 Gradio 執行 ComfyUI 工作流程
Hugging Face 提供了一份指南，說明如何將複雜的 ComfyUI 工作流程轉換為 Gradio 應用程式，並在 Hugging Face Spaces 的 ZeroGPU 上免費、無伺服器部署。
Hugging Face 排行榜模板：實作 Vectara HHEM 排行榜
Hugging Face 已發布開源的排行榜模板，使開發者能夠構建動態的 LLM 評估看板，正如 Vectara 全新推出的 Hughes Hallucination Evaluation Model（HHEM）排行榜所示。