Llama 3.1 版本說明：多語言支援、長上下文與 405B 模型
Meta 已發布 Llama 3.1，提供 8B、70B 與 405B 大小的模型，具備 128K 上下文長度、支援 8 種語言的多語言功能，且採用寬鬆授權允許合成資料生成。
在 Core ML 上執行 Mistral 7B
Hugging Face 示範了如何在 Mac 上使用 WWDC 24 推出的新 Core ML 功能執行 Mistral 7B，並透過 4 位元區塊式量化將模型大小縮減至低於 4GB。
Docmatix 資料集發布
Hugging Face 已發布 Docmatix，一個文件視覺問答（DocVQA）資料集，包含 240 萬張影像與 950 萬組問答對，規模較先前資料集提升了 240 倍。
TGI Multi-LoRA：一次部署，服務 30 個模型
Hugging Face 在文本生成推理（TGI）中引入了 Multi-LoRA 服務，使組織能夠部署單一基礎模型，並動態提供數十個專門微調的適配器，以降低成本和營運複雜度。
Argilla SDK 聊天機器人（使用 distilabel）– 端對端教學
Hugging Face 發布了一篇教學，說明如何使用 distilabel 產生的合成資料、微調的嵌入、lancedb 向量儲存，以及部署於 Spaces 的 Gradio 應用，打造 Argilla 2.0 聊天機器人。
SmolLM 發布：高效能小型語言模型
Hugging Face 介紹 SmolLM，一個由最先進的小型語言模型（135M、360M 與 1.7B 參數）組成的系列，這些模型在精心策劃的高品質資料集上進行訓練。
NuminaMath 7B TIR 榮獲 AIMO 進步獎 – 技術回顧
NuminaMath 7B TIR 透過解答 50 個隱藏數學問題中的 29 題，贏得了首屆 AIMO 進步獎，展示了兩階段微調方案、大規模高品質數學數據以及結合工具整合推理的自我一致性推理策略的威力。
Hugging Face PII 偵測實驗與 Presidio
Hugging Face 正在嘗試將 Microsoft Presidio 整合至 Dataset Hub，以提供自動化的 PII 偵測報告，協助實務者辨識並降低機器學習資料集中的隱私風險。
TRL 為視覺語言模型新增 Direct Preference Optimization 支援
Hugging Face 在 TRL 函式庫中為視覺語言模型新增了 Direct Preference Optimization (DPO) 支援，讓開發者能透過 bfloat16 量化與 LoRA 技術，在單個 GPU 上使用偏好數據對 Idefics-2 等模型進行微調。
Hugging Face 與 KerasHub 整合
Hugging Face 與 KerasHub 現在共享模型保存格式，讓 KerasHub 使用者能直接載入來自 Hugging Face Hub 超過 30 萬個 Transformers 庫模型。
Google Cloud TPU 在 Hugging Face 推理端點與 Spaces 上的應用
Hugging Face 已將 Google Cloud TPU v5e 支援整合至 Inference Endpoints 與 Spaces，讓使用者能以具成本效益且高效能的硬體部署與擴展 AI 模型。
Banque des Territoires、Polyconseil 與 Hugging Face 部署主權 RAG 解決方案以支援 EduRénov 計畫
Hugging Face、Polyconseil 與 Banque des Territoires 推出了一套主權、開源的 RAG 系統，以自動化法國 EduRénov 校園翻新計畫的電子郵件支援，確保資料居留，同時在公共政策領域擴展生成式 AI 的規模。
Hugging Face Dataset Hub 搜尋功能更新
Hugging Face 已推出四個新的搜尋過濾器——模態、大小、格式和程式庫相容性——以提升 Dataset Hub 上超過 180,000 個公開資料集的可發現性。
在 Intel Gaudi 2 上加速蛋白質語言模型 ProtST
Intel 與 MILA 已針對 Intel Gaudi 2 加速器優化了 ProtST 多模態蛋白質語言模型，實現了相較於 NVIDIA A100 GPU 高達 2.92 倍的微調加速。
Hugging Face Transformers 代碼代理 GAIA 基準測試結果
Hugging Face 使用基於 transformers.agents 庫構建的代碼代理，在 GAIA 基準測試中取得了最高排名，證明了代碼式行動比基於 JSON 的工具調用更高效且更有效。
Google Gemma 2 版本說明
Google 已發布 Gemma 2，這是一個開放權重的大型語言模型（LLM）家族，提供 9B 與 27B 參數規模，具備蒸餾與注意力機制等技術創新以提升效能。
XLSCOUT ParaEmbed 2.0 發布
XLSCOUT 已發布 ParaEmbed 2.0，這是一個在專家策劃的專利資料上微調的專有嵌入模型，較 ParaEmbed 1.0 提升了 23% 的準確度。
Hugging Face 倫理與社會通訊 #6：資料品質的重要性
Hugging Face 概述了一套全面且負責任的資料品質方法，強調高品質資料必須符合其預期用途，以確保 AI 模型效能、公平性以及科學可重現性。
微調微軟 Florence-2 於 DocVQA
Hugging Face 示範了如何在 DocVQA 資料集上微調微軟的 Florence-2 視覺語言模型，於七個 epoch 後將驗證相似度從 0 提升至 57.0。
Hugging Face 數據共創倡議
Hugging Face 與 Argilla 發起了「Data Is Better Together」(DIBT) 倡議，旨在賦能開源社群共同創建高品質、多樣且具包容性的機器學習資料集。
Prezi 案例研究：透過 Hugging Face 專家支援加速機器學習路線圖
Prezi 正在利用 Hugging Face 專家支援計畫與 Inference Endpoints，將高效的開源多模態模型整合至其 Prezi AI 簡報生成工具中。
BigCodeBench：複雜 Python 程式碼生成的新基準
Hugging Face 發布了 BigCodeBench，這是一個包含 1,140 個函式層級任務的基準，旨在評估 LLM 在實務程式設計與多樣函式庫使用上的能力，解決 HumanEval 的簡單性與污染問題。
Hugging Face Accelerate：協調 DeepSpeed 與 FSDP 精度
Hugging Face Accelerate 0.30.0 引入了對 PyTorch FSDP 的自動 upcasting，使其精度處理與 DeepSpeed 保持一致，從而在兩個後端之間無縫切換且不會失去收斂性。
Stable Diffusion 3 Medium 與 Diffusers 的整合
Hugging Face 已將 Stable Diffusion 3 Medium（2B 參數）整合至 Diffusers 函式庫，並引入多模態擴散變換器（MMDiT）與校正流匹配，以提升文字到影像的合成效果。
Hugging Face TRL RLOO Trainer 發布
Hugging Face 已在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，這是一種線上 RLHF 演算法，使用 50-70% 更少的 vRAM，且收斂速度比 PPO 快至 3 倍，同時在效能上保持競爭力。
Hugging Face 嵌入容器於 Amazon SageMaker 發布
Hugging Face 已發布通用可用（GA）嵌入容器於 Amazon SageMaker，該容器由 Text Embedding Inference（TEI）提供動力，以高效能部署開放式嵌入模型。
Hugging Face Transformers 文件重新設計
Hugging Face 正在重新設計 Transformers 文件，將其從僵硬、逐步累積的結構轉變為以程式碼為先、針對產品開發者量身打造的整合體驗。
人工分析文字轉圖排行榜與競技場發布
Hugging Face 推出了人工分析文字轉圖排行榜與競技場，利用超過 45,000 票的人類偏好數據對開源與專有圖像生成模型進行排名。
Hugging Face NPC-Playground：在 3D 環境中整合 LLM 驅動的 NPC
Hugging Face 推出 NPC-Playground，一個利用 Cubzh 與 Gigax 的 3D 示範，透過函式呼叫與 Lua 腳本實現逼真的 LLM 驅動 NPC 互動。
Intel Gaudi 輔助生成支援
Hugging Face 已將輔助生成（投機抽樣）整合至 Optimum Habana，使大型 transformer 模型在 Intel Gaudi 處理器上可提升至最高 2 倍的速度。
Hugging Face Spaces 秘密安全更新
Hugging Face 披露了一起安全事件，涉及未經授權存取部分 Spaces 秘密，導致受影響的令牌被撤銷，並轉向使用細粒度存取令牌。
文本生成推理基準測試
Hugging Face 推出了一款用於文本生成推理（TGI）的基準測試工具，幫助開發者分析吞吐量與延遲之間的取捨，以優化大型語言模型部署的成本與效能。
使用 Sentence Transformers 訓練與微調嵌入模型
Hugging Face 提供了使用 Sentence Transformers 套件訓練與微調嵌入模型以應對語意搜尋與 RAG 等任務的完整指南，並介紹了全新的 SentenceTransformerTrainer。
Falcon 2 11B 發布說明
TII 已發布 Falcon 2 11B，一系列更小且高效能的模型，包括在超過 5,000 億個 token 上訓練的預訓練大型語言模型（LLM）與視覺語言模型（VLM）。
CyberSecEval 2：評估大型語言模型的網路安全風險
Hugging Face 與 Meta 推出了 CyberSecEval 2，一個全面的框架，用於評估大型語言模型在程式碼解譯器濫用、進攻性網路安全能力以及提示注入攻擊方面的易受性。
Hugging Face AWS Inferentia2 整合
Hugging Face 擴大了對 AWS Inferentia2 的支援，讓使用者能透過 Amazon SageMaker 部署超過 100,000 個模型，並為 Hugging Face 推理端點引入了新的 Inf2 實例選項。
Hugging Face 與 Microsoft 戰略合作更新 2024 年 5 月
Hugging Face 與 Microsoft 擴大了戰略合作，將熱門開放模型整合至 Azure Model Catalog、在 Azure 上啟用 AMD MI300X GPU 支援，並為 Hugging Face Spaces 引入 VS Code 整合。
Hugging Face 整合 AMD Instinct MI300 GPU
Hugging Face 為 AMD Instinct MI300 GPU 提供了一流的整合，使 Llama 3 70B 的推論速度提升最高可達 3 倍，微調速度提升 2 倍，相較於 MI250。
Dell Enterprise Hub: 本地 AI 部署與訓練
Hugging Face 與 Dell 推出了 Dell Enterprise Hub，這是一個平台，可簡化在 Dell 硬體上本地訓練與部署開源大型語言模型的流程。
Hugging Face Spaces 開發模式發布
Hugging Face 推出了 Spaces Dev Mode，讓 PRO 訂閱者可透過 VS Code 或 SSH 進行即時程式碼編輯，無需為每次變更執行 git 推送。
Hugging Face KV 快取量化
Hugging Face 在 Transformers 函式庫中引入了 KV 快取量化，以降低長上下文文字生成的記憶體使用量，且對模型品質的影響極小。
介紹 Open Arabic LLM Leaderboard
Hugging Face 與科技創新研究院（Technology Innovation Institute）已推出 Open Arabic LLM Leaderboard（OALL），提供一個專門的、開放的阿拉伯語大型語言模型評估平台。
PaliGemma 視覺語言模型發布
Google 已發布 PaliGemma，這是一系列結合 SigLIP-So400m 與 Gemma-2B 的開放式視覺語言模型，可執行圖像說明、視覺問答與目標偵測等任務。
Hugging Face 與 LangChain 推出 langchain_huggingface 合作套件
Hugging Face 與 LangChain 已發布 langchain_huggingface，這是一個共同維護的合作套件，旨在簡化 Hugging Face 模型在 LangChain 生態系統中的整合。
使用 Intel Gaudi 2 與 Intel Xeon 建構具成本效益的企業 RAG 應用程式
Hugging Face 示範了透過 OPEA 框架結合 Intel Gaudi 2 加速卡與 Intel Xeon CPU，如何讓企業建置相較於 H100 系統具更佳每美元效能的 RAG 應用程式。
Hugging Face Enterprise Hub 現已於 AWS Marketplace 上線
Hugging Face 已將 Enterprise Hub 整合至 AWS Marketplace，讓組織能透過其 AWS 帳戶升級帳號並直接管理計費。
Hugging Face 針對希伯來語 LLM 的開放排行榜
Hugging Face 已推出專為希伯來語大型語言模型（LLM）設計的開放排行榜，旨在解決低資源且形態複雜語言的挑戰，提升模型的評估與改進。
人工分析 LLM 性能排行榜於 Hugging Face
Hugging Face 已整合人工分析 LLM 性能排行榜，為 AI 工程師提供統一的指標系統，以比較超過 100 個無伺服器 LLM API 端點的品質、價格與速度。
Hugging Face 推理端點的語音辨識與說話者分割管線
Hugging Face 為在推理端點上部署結合 Whisper 語音辨識、Pyannote 說話者分割與推測解碼的模組化管線，推出了自訂推理處理器。
透過結構化生成提升提示一致性
Hugging Face 與 Dottxt 的研究顯示，使用結構化生成來限制 LLM 輸出可降低效能變異，並提升在不同提示格式與樣本順序下的排名一致性。