Hugging Face 幻覺排行榜發布與初步發現
Hugging Face 推出幻覺排行榜，以在多個開源資料集上評估大型語言模型的事實性與忠實性錯誤，提供透明的排名，協助模型選擇與研究。
AI 安全 LLM 安全排行榜
Hugging Face 與 Secure Learning Lab 推出了 LLM 安全排行榜，該排行榜由 DecodingTrust 框架提供支持，用於評估 LLM 在八個關鍵安全維度上的可信度。
Hugging Face 與 Google Cloud 戰略合作夥伴關係
Hugging Face 與 Google Cloud 已建立戰略合作夥伴關係，透過將開放模型與 Google Cloud 的 AI 基礎設施與硬體結合，讓機器學習更普及。
開源 LLM 作為 LangChain 代理人
Hugging Face 展示了開源 LLM，特別是 Mixtral-8x7B，現在已能驅動代理工作流程，且在通用推理任務上可超越 GPT-3.5。
微調 Wav2Vec2-BERT 以應對低資源語音辨識
Hugging Face 示範了如何微調 Meta 的 Wav2Vec2-BERT 模型以在低資源語言上進行自動語音辨識 (ASR)，達到與 Whisper-large-v3 相當的效能，同時速度顯著更快且資源使用更有效率。
PatchTSMixer 新增至 Hugging Face Transformers – 發布與快速入門指南
PatchTSMixer 是 IBM Research 推出的輕量級 MLP‑Mixer 時間序列模型，現已在 Hugging Face Transformers 中發布，提供最先進的預測能力，同時大幅降低記憶體與執行時間成本。
使用直接偏好優化方法調整 LLM 偏好 – DPO、IPO 與 KTO 的實證比較
Hugging Face 評估了兩個 7B 聊天模型上的 DPO、IPO 與 KTO 對齊方法，結果顯示只要適當調整 β 超參數，DPO 始終優於其他方法。
使用 ONNX Runtime 與 Olive 加速 SD Turbo 與 SDXL Turbo 推論
Hugging Face 與 Microsoft 引入使用 ONNX Runtime 與 Olive 的優化，使 SDXL Turbo 的吞吐量提升高達 229%，SD Turbo 提升 120%，相較於 PyTorch。
在 Hugging Face Spaces 上使用 Gradio 執行 ComfyUI 工作流程
Hugging Face 提供了一份指南，說明如何將複雜的 ComfyUI 工作流程轉換為 Gradio 應用程式，並在 Hugging Face Spaces 的 ZeroGPU 上免費、無伺服器部署。
Hugging Face 排行榜模板：實作 Vectara HHEM 排行榜
Hugging Face 已發布開源的排行榜模板，使開發者能夠構建動態的 LLM 評估看板，正如 Vectara 全新推出的 Hughes Hallucination Evaluation Model（HHEM）排行榜所示。
Unsloth 與 Hugging Face TRL 整合，實現更快的 LLM 微調
Unsloth 是一個輕量級函式庫，透過將 LLM 微調速度提升高達 2.7 倍，並在與 QLoRA 相比準確度下降為 0% 的情況下，減少高達 74% 的記憶體使用。
aMUSEd：高效文字轉圖像生成
Hugging Face 已發布 aMUSEd，一款基於遮罩影像建模（MIM）的高效非擴散文字轉圖像模型，並且是 Google MUSE 的開源再現。
Hugging Face SDXL Dreambooth LoRA 進階訓練指南
Hugging Face 推出了一個用於 SDXL Dreambooth LoRA 的進階訓練腳本，結合關鍵微調與 Prodigy 優化器，以提升概念捕捉與圖像品質。
推測解碼讓 Whisper 推理速度提升 2 倍
Hugging Face 示範推測解碼將 Whisper 轉錄延遲減半，同時保持完全相同的輸出與準確度。
2023 年開源大型語言模型回顧
Hugging Face 2023 年的回顧顯示，開源大型語言模型的發布激增，出現了更小且高效能的模型，以及全新微調技術，極大地擴大了存取與社群參與的範圍。
專家混合（MoE）說明
專家混合（MoE）讓 transformer 模型在擴展參數規模的同時，透過僅在每個 token 上啟用部分神經網路專家，維持高效的預訓練與更快的推論速度。
Mixtral 8x7B 發行說明
Mistral AI 已發布 Mixtral 8x7B，一款混合專家（MoE）模型，在大多數基準測試中超越 Llama 2 70B 並匹配 GPT-3.5 的表現，同時在 Apache 2.0 許可下保持商業寬容。
SetFitABSA：少樣本面向屬性情感分析
Hugging Face 與 Intel Labs 推出了 SetFitABSA，一個無提示、少樣本的面向屬性情感分析框架，在資料稀少的情況下表現優於如 Llama 2 與 T5 等較大型的生成模型。
Optimum-NVIDIA 發行說明
Hugging Face 已發布 Optimum-NVIDIA，一個推理庫，透過 FP8 量化與 TensorRT-LLM，使 LLM 在 NVIDIA 平台上的推理速度提升最高可達 28 倍。
Hugging Face LoRA 動態載入加速推論 300% 並降低延遲
Hugging Face 宣布了一套動態 LoRA 載入系統，將熱身時間從 25 秒縮短至 3 秒，使 LoRA 推論速度提升最高達 300 %，並將總回應時間從 35 秒降低至 13 秒。
Hugging Face 與 AMD 為 LLMs 提供 GPU 加速
Hugging Face 與 AMD 已將適用於 AMD Instinct GPU 的即插即用支援整合到 Transformers 庫和 Text Generation Inference 中，使得無需程式碼變更即可實現高效能的 LLM 執行。
Hugging Face Open LLM 排行榜 DROP 基準測試分析
Hugging Face 在發現有瑕疵的歸一化和停止詞配置導致大多數模型得分異常低後，已將 DROP 基準測試從 Open LLM 排行榜中移除。
SDXL 與 Stable Diffusion 使用 Latent Consistency LoRAs 進行快速推理
Hugging Face 推出 LCM LoRAs，一種方法，使 SDXL 和 Stable Diffusion 模型能夠在 4 到 8 步內生成高品質圖像，顯著降低推理時間。
Prodigy-HF 整合發布說明
Explosion 已發布 Prodigy-HF，一個外掛，使使用者能直接在標註資料上微調 Hugging Face transformer 模型，並能直接將資料集上傳至 Hugging Face Hub。
在 AWS Inferentia2 上使用 optimum-neuron 部署 Llama 2
Hugging Face 已將 optimum-neuron 與 AWS Neuron SDK 整合，以在 AWS Inferentia2 加速器上部署 Llama 2 模型，實現高效能的文字生成。
比較 RoBERTa、Llama 2 與 Mistral 在災難推文分類上的 LoRA
一項比較研究顯示，在使用 Low-Rank Adaptation (LoRA) 進行微調後，較小的 RoBERTa 模型在災難推文的二元分類任務上優於 Llama 2 與 Mistral 7B。
Hugging Face Hub 儲存區域
Hugging Face 為 Enterprise Hub 客戶推出了儲存區域功能，使組織能夠選擇其模型和資料集的存放位置，以提升法規遵循性和資料傳輸效能。
個人 Copilot: 訓練您自己的編碼助理
Hugging Face 展示了如何通過在特定代碼庫上使用 QLoRA 和完整微調技術對 StarCoder 進行微調，來創建個人化的編碼助理 HugCoder。
Hugging Face 與 Renumics Spotlight 整合，實現可擴展的資料檢查
Hugging Face 已與 Renumics Spotlight 整合，以實現互動式、單行代碼的機器學習資料集視覺化與檢查，包括對多模態資料和模型結果的支援。
優化 Stable Diffusion XL (SDXL) 的推理速度與記憶體使用
Hugging Face 探索了 Stable Diffusion XL (SDXL) 的多種優化技術，展示了如何將記憶體使用量從 28GB 降低至低至 11.47GB，並將推理延遲從 72.2 秒降低到大約 10.3 秒。
使用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 透過 Inference Endpoints 引入 Text Embeddings Inference (TEI)，提供一種高效能且具成本效益的方式來部署開源嵌入模型，用於 RAG 和語義搜尋。
The N 關於 RLHF 與 PPO 的實作細節 – Hugging Face 博客摘要
Hugging Face 部落格文章重現了 OpenAI 2019 年的 RLHF 程式碼庫，匹配其學習曲線，並詳細說明 N 個實作細節，其中包括一個關鍵的 PyTorch Adam 優化器差異，導致更新更積極。
Gradio-Lite: 完全在您的瀏覽器中運行的無伺服器 Gradio
Hugging Face 推出 Gradio-Lite (@gradio/lite)，一個使用 Pyodide 在網頁瀏覽器中直接運行 Gradio 應用程式的 JavaScript 庫，消除了對伺服器基礎設施的需求。
使用 ONNX Runtime 加速 Hugging Face 模型
Hugging Face 和 ONNX Runtime 使超過 130,000 個模型能夠實現效能加速，包括相較於 PyTorch，whisper-tiny 模型的延遲減少高達 74.30%。
Hugging Face 聊天範本
Hugging Face 推出了基於 Jinja 的聊天範本系統，以確保聊天模型接收到的輸入格式與訓練時完全一致，從而防止效能無預警下降。
在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 現在支援在 Cloud TPU v5e 上使用 JAX 提供 Stable Diffusion XL (SDXL) 服務，相較於 TPU v4，每美元的性能最高可提升 2.4 倍。
透過 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一個使用 Inference API 部署 AI Comic Factory 私人實例的指南，利用 Llama-2 和 SDXL 1.0 模型。
使用 TRL 透過 DDPO 微調 Stable Diffusion
Hugging Face 已將 Denoising Diffusion Policy Optimization (DDPO) 整合到 TRL 函式庫中，利用強化學習使 Stable Diffusion 模型與人類偏好對齊。
Hugging Face 倫理與社會更新 2023 夏季版
Hugging Face 詳細介紹了其在 2023 年夏季致力於影響美國、歐盟與英國 AI 監管的努力，同時透過公眾倡權與技術研究推進開源倫理。
Hugging Face 指南：無需程式碼訓練 LLaMA 2 聊天機器人
Hugging Face 透過使用 Spaces、AutoTrain 和 ChatUI 提供無程式碼工作流程，使非工程師能夠微調 LLaMA 2 並將其部署為功能聊天應用程式。
Llama 2 在 Amazon SageMaker 上的基準測試
Hugging Face 分析了 Llama 2 在 Amazon SageMaker 上的 60 種部署配置，以找出成本、吞吐量和延遲的最佳設置。
Hugging Face Inference for PROs
Hugging Face 為 PRO 用戶推出了 Inference for PRO，為精選的尖端模型提供加速的 API 端點，並提升了免費版 Inference API 的速率限制。
Rocket Money x Hugging Face: 在生產環境中擴展波動的 ML 模型
Rocket Money 使用 Hugging Face 的 Inference API 將其交易分類系統擴展至每月超過十億筆交易，以取代舊版 regex 基礎系統。
3D 高斯溶膠簡介
3D 高斯溶膠是一種光柵化技術，能夠從少量圖像學習並實時渲染出寫實的 3D 場景。
Hugging Face 物件偵測排行榜
Hugging Face 發布了一個使用 COCO 風格指標的物件偵測排行榜，對開源模型進行排名，並發表了一篇部落格，解釋如何計算平均精度 (Average Precision) 和平均召回率 (Average Recall)，以及哪些因素可能影響結果。
在生產環境中優化 LLMs：精度、注意力與架構
Hugging Face 闡釋了高效部署 LLM 的關鍵技術，著重於低精度量化、Flash Attention 以提升記憶體效率，以及如 RoPE、ALiBi、MQA 和 GQA 等架構優化。
使用 PyTorch FSDP 微調 Llama 2 70B
Hugging Face 展示了如何使用 PyTorch Fully Sharded Data Parallelism (FSDP) 和 Accelerate 來微調 Llama 2 70B，以克服 CPU RAM 瓶頸並優化 VRAM 使用率。
介紹 Würstchen：用於圖像生成的快速擴散
Würstchen 是一種快速且高效的文本到圖像擴散模型，透過實現 42x 空間壓縮來顯著降低訓練和推理成本。
Hugging Face Transformers 量化概覽
Hugging Face 提供 bitsandbytes 和 auto-gptq 量化方案的原生支援，以便在較小的設備上進行大型模型推理，並實現高效的適配器微調。
SafeCoder 與閉源代碼助手
Hugging Face 推出 SafeCoder，一種基於開源 StarCoder 模型的企業級代碼助手，相較於閉源替代方案，優先考慮透明度、客製化和資料隱私。