StarCoder2-15B-Instruct-v0.1 發行說明 / 新功能
Hugging Face 推出 StarCoder2-15B-Instruct-v0.1，這是首個完全自我對齊的程式碼大型語言模型，使用全透明且寬鬆的管線訓練，在 HumanEval 上超越 CodeLlama-70B-Instruct。
Hugging Face 開放式思考鏈領導榜
Hugging Face 推出了開放式思考鏈領導榜，用於衡量在各種大型語言模型上，透過思考鏈提示在具挑戰性的推理任務中所帶來的具體準確率提升。
Jack of All Trades (JAT) 多用途變換器代理
Hugging Face 推出 Jack of All Trades (JAT)，一個基於單一變換器的代理，能在 Atari、BabyAI、Meta-World 與 MuJoCo 環境中執行多樣的序列決策任務。
開放醫療大型語言模型排行榜：醫療領域大型語言模型基準測試
Hugging Face 推出了開放醫療大型語言模型排行榜，這是一個標準化平台，用於評估與比較大型語言模型在各種醫療資料集上的表現，以提升可靠性與患者安全。
Meta Llama 3 發布說明
Meta 已發布 Llama 3，這是一個開放存取的 LLM 系列，提供 8B 與 70B 參數模型，具備改進的分詞與在 15 兆令牌上進行的訓練。
Ryght 案例研究：使用 Hugging Face 建構生命科學生成式 AI 平台
Ryght 已推出 Ryght Preview，一個面向醫療保健與生命科學的企業級生成式 AI 平台，利用 Hugging Face 的專家支援、TGI 與 TEI，提供安全、彈性且高效能的 AI 助手。
在 Hugging Face 端點上執行隱私保護推論
Hugging Face 與 Zama 已經實現了透過 Hugging Face 端點部署全同態加密（FHE）模型，使用者可以在加密資料上執行機器學習推論，而無需解密。
LiveCodeBench 排行榜：無汙染的程式碼 LLM 評估
Hugging Face 推出了 LiveCodeBench 排行榜，這是一項由加州大學伯克利分校、麻省理工學院與康乃爾大學的研究人員開發的新基準，用於評估 LLM 的程式碼生成與推理能力，並透過時間窗口的題目集防止基準汙染。
Gradio 重新載入模式加速 AI 應用程式開發
Gradio 的重新載入模式讓開發者能即時將來源程式碼變更套用至 AI 應用程式，無需重新啟動伺服器，顯著降低開發延遲。
Idefics2 8B 視覺語言模型發布 – 架構、資料與效能
Hugging Face 發布了 Idefics2，一款 8 億參數的開源視覺語言模型，在 VQA 與 OCR 基準測試上優於其他 8B 模型，且可透過 🤗 Transformers 直接進行微調。
視覺語言模型說明
Hugging Face 提供了一份關於視覺語言模型（VLM）的完整指南，詳細說明了它們的架構、開源選項、評估基準，以及透過 TRL 函式庫進行微調的全新實驗性支援。
Hugging Face 與 Google Cloud Vertex AI Model Garden 整合
Hugging Face 推出了「Deploy on Google Cloud」，使用者可透過 Hugging Face Hub 或 Vertex Model Garden，將數千個開源基礎模型部署至 Vertex AI 或 Google Kubernetes Engine（GKE）。
CodeGemma 發行說明 / 新功能
Google 已發布 CodeGemma，這是一個基於 Gemma、開放存取、專注於程式碼的 LLM 系列，於額外 5000 億個程式碼、數學與英語語料的 token 上進行訓練。
Hugging Face 公共政策計畫概覽與提交的資料
Hugging Face 宣布了一項全面的跨功能公共政策計畫，為美國、歐盟與英國的政策制定者提供詳細的立場文件、證詞與意見信，彰顯其負責任開放的承諾並塑造 AI 法規。
Hugging Face 與 Wiz 研究合作夥伴關係：AI 安全
Hugging Face 與 Wiz 合作，整合先進的漏洞管理與雲端安全姿態管理，以保護其平台及更廣泛的 AI/ML 生態系統。
Text2SQL 與 Hugging Face Dataset Viewer API 以及 DuckDB-NSQL-7B
Hugging Face 示範了如何使用 DuckDB-NSQL-7B 模型與 Dataset Viewer API，將自然語言問題轉換為 SQL 查詢，以分析超過 120,000 個開放資料集。
使用 🤗 Optimum Intel 在 Xeon 上加速 SetFit 推論
Hugging Face 示範了如何透過 🤗 Optimum Intel 函式庫的後訓練靜態量化，在 Intel Xeon CPU 上將 SetFit 模型的推論吞吐量提升至最高 7.8 倍。
Hugging Face 與 Cloudflare Workers AI 整合
Hugging Face 整合 Cloudflare Workers AI，為受歡迎的開源模型提供無伺服器 GPU 推論，讓開發者能以按請求付費的計價模式部署 AI 應用。
Pollen-Vision：機器人零樣本視覺模型的統一介面
Hugging Face 與 Pollen Robotics 團隊已發布 pollen-vision，這是一個整合零樣本視覺模型的開源庫，使機器人能夠在三維空間中偵測並定位未知物體。
Hugging Face Transformers：開源機器學習新手指南
Hugging Face 提供了完整的入門指南，說明如何使用 Transformers 函式庫與 Hub 部署與執行開源機器學習模型，例如 Microsoft 的 Phi-2。
嵌入量化：二元與標量技術實現更快、更便宜的檢索
Hugging Face 宣布了二元與 int8 嵌入量化，將記憶體使用量分別降低 32 倍或 4 倍，檢索速度提升至最高 45 倍，同時保留 96%–99% 的原始效能。
Hugging Face 與 Lighthouz AI 推出 Chatbot Guardrails Arena
Hugging Face 與 Lighthouz AI 已推出 Chatbot Guardrails Arena，這是一個社群驅動的壓力測試平台，旨在評估 LLM 及其防護欄位的資料隱私與安全性。
GaLore：在消費級硬體上推進大型模型訓練
GaLore 透過低秩梯度投影，將優化器狀態的記憶體需求降低超過 82.5%，從而使在消費級 GPU 上訓練十億參數模型成為可能。
Cosmopedia：大規模合成資料用於 LLM 預訓練
Hugging Face 推出 Cosmopedia，這是目前最大的開放式合成資料集，用於 LLM 預訓練，包含 3000 萬個檔案與 250 億個由 Mixtral-8x7B-Instruct-v0.1 產生的 token。
Phi-2 在 Intel Meteor Lake 上：本地 LLM 推論
Hugging Face 示範了如何在 Intel Meteor Lake（Core Ultra）處理器上，透過 OpenVINO 與 Optimum Intel 使用 4 位元量化，在本地執行 Microsoft Phi-2 模型。
Quanto：用於 Optimum 的 PyTorch 量化後端
Hugging Face 推出 Quanto，一個多功能且設備無關的 PyTorch 量化後端，適用於 Optimum，旨在簡化跨任何模態的低精度模型部署。
Hugging Face 在 DGX Cloud 上的訓練
Hugging Face 推出 Train on DGX Cloud，一項無需編碼的服務，讓 Enterprise Hub 組織能使用 NVIDIA H100 與 L40S GPU 微調開源模型。
WebSight 資料集與 Sightseer 模型
Hugging Face 推出了 WebSight，一個包含 200 萬筆螢幕截圖至 HTML 配對的合成資料集，以及 Sightseer，一個能將網頁螢幕截圖轉換為功能性 HTML 程式碼的視覺語言模型。
使用 Optimum Intel 與 fastRAG 的 CPU 優化嵌入
Hugging Face 與 Intel 推出了一種在 Xeon CPU 上加速嵌入模型的方法，使用 Optimum Intel 與 fastRAG，透過 int8 量化可實現最高 4.5 倍的延遲縮減與 4 倍的吞吐量提升。
Hugging Face 與 Argilla 讓社群共同構建資料集
Hugging Face 與 Argilla 推出了一個精簡的工作流程，結合 Hugging Face Spaces 與 Argilla，讓社群能共同構建高品質的開源資料集。
Intel Gaudi 2 AI 加速器上的文字生成管線
Hugging Face 為 Intel Gaudi 2 AI 加速器推出自訂文字生成管線，透過 Optimum Habana 簡化 Llama 2 模型（7b、13b 與 70b）的部署。
StarCoder2 與 The Stack v2 發布
BigCode 已發布 StarCoder2，這是一個透明訓練的開源程式碼大型語言模型家族，提供 3B、7B 與 15B 參數規模，並以全新的大型 Stack v2 資料集為基礎。
Hugging Face TTS Arena：文本轉語音模型基準測試
Hugging Face 推出了 TTS Arena，一個群眾外包的並排比較工具與排行榜，使用 Elo 評分系統客觀衡量文本轉語音模型的品質。
AI 水印 101：工具與技術
Hugging Face 提供了關於圖像、文字與音訊的 AI 水印技術的完整概述，以對抗深偽並確保內容來源。
Matryoshka 嵌入模型簡介
Matryoshka 嵌入模型允許可變尺寸的嵌入向量，且可在不顯著影響效能的情況下截斷，從而在儲存空間、速度與準確度之間實現彈性取捨。
在 Hugging Face 上微調 Gemma 模型
Hugging Face 提供了一份指南，說明如何使用參數效率微調 (PEFT) 與低秩適應 (LoRA) 在 GPU 與雲端 TPU 上客製化 Google 的 Gemma 模型。
Hugging Face 與 Haize Labs 推出紅隊抗性排行榜
Hugging Face 與 Haize Labs 已推出紅隊抗性（RTR）基準，用於評估大型語言模型在針對特定安全違規類別的高品質、人類式對抗性提示下的韌性。
Google Gemma 開放式大型語言模型發布
Google 已發布 Gemma，這是一個基於 Gemini 的開放存取大型語言模型系列，提供 2B 與 7B 參數規模的基礎與指令微調變體。
Hugging Face PEFT 新 LoRA 合併方法
Hugging Face 為 PEFT 函式庫引入了多種新合併方法，使用戶能即時結合同一基礎模型的多個 LoRA 適配器，以合成新的功能。
使用開源 LLM 產生合成資料降低自訂模型的成本、延遲與碳排放
Hugging Face 展示了使用開源 LLM 產生合成資料並微調小型 RoBERTa 模型，將推論成本從 $3061 降至 $2.7，延遲從數秒降至 0.13 秒，CO₂ 排放從約 1 t 降至 0.12 kg，同時在金融情緒分類上匹配 GPT‑4 的準確率。
AMD 全域 AI 開發者競賽
AMD 與 Hugging Face 合作推出全域 AI 開發者競賽，提供開發者免費使用 AMD 硬體以及現金獎勵，以在生成式 AI、機器人 AI 與 PC AI 領域打造 AI 應用程式。
Hugging Face TGI 訊息 API 發佈
Hugging Face 已在版本 1.4.0 起推出了用於文字生成推論（TGI）的訊息 API，使開放式 LLM 能相容 OpenAI Chat Completion API。
SegMoE：Segmind 擴散專家混合模型
SegMoE 是一個框架，透過將 Stable Diffusion 架構中的前饋層替換為稀疏 MoE 層，以建立 Mixture-of-Experts（MoE）擴散模型，從而提升提示詞的理解能力。
NPHardEval 排行榜：透過計算複雜度評估大型語言模型的推理能力
Hugging Face 推出 NPHardEval 排行榜，這是一個使用計算複雜度類別來量化衡量大型語言模型邏輯推理能力的動態基準測試。
PatchTST 在 Hugging Face 的整合
Hugging Face 已整合 PatchTST，一種基於 Transformer 的模型，透過時間序列 patch 與通道獨立性提升長期預測能力，並支援遷移學習。
Hugging Face 文本生成推理現在支援 AWS Inferentia2
Hugging Face 宣布 Text Generation Inference 在 AWS Inferentia2 上透過 Amazon SageMaker 正式上市，提供具成本效益且高吞吐量的 LLM 服務，作為 GPU 部署的替代方案。
開放式大型語言模型的憲法式 AI
Hugging Face 推出完整的食譜與 llm-swarm 工具，以在開放模型上實作憲法式 AI（CAI），讓模型能根據使用者自訂的原則進行可擴展的自我對齊，且不需昂貴的人類回饋。
企業情境排行榜：評估大型語言模型在實際應用情境中的表現
Hugging Face 與 Patronus AI 推出企業情境排行榜，以評估語言模型在六項實際商業任務上的表現，超越學術基準，衡量實務企業效用。
使用 Optimum Intel 在 Intel Xeon 上加速 StarCoder
Hugging Face 與 Intel 透過結合 8 位元量化與輔助生成，在第 4 代 Intel Xeon 處理器上為 StarCoder-15B 模型展示超過 7 倍的推論加速。
Hugging Face 幻覺排行榜發布與初步發現
Hugging Face 推出幻覺排行榜，以在多個開源資料集上評估大型語言模型的事實性與忠實性錯誤，提供透明的排名，協助模型選擇與研究。