✷ 封存 · 11 個實驗室 · 870 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Unsloth 與 Hugging Face TRL 整合，實現更快的 LLM 微調
Unsloth 是一個輕量級函式庫，透過將 LLM 微調速度提升高達 2.7 倍，並在與 QLoRA 相比準確度下降為 0% 的情況下，減少高達 74% 的記憶體使用。
aMUSEd：高效文字轉圖像生成
Hugging Face 已發布 aMUSEd，一款基於遮罩影像建模（MIM）的高效非擴散文字轉圖像模型，並且是 Google MUSE 的開源再現。
Hugging Face SDXL Dreambooth LoRA 進階訓練指南
Hugging Face 推出了一個用於 SDXL Dreambooth LoRA 的進階訓練腳本，結合關鍵微調與 Prodigy 優化器，以提升概念捕捉與圖像品質。
推測解碼讓 Whisper 推理速度提升 2 倍
Hugging Face 示範推測解碼將 Whisper 轉錄延遲減半，同時保持完全相同的輸出與準確度。
2023 年開源大型語言模型回顧
Hugging Face 2023 年的回顧顯示，開源大型語言模型的發布激增，出現了更小且高效能的模型，以及全新微調技術，極大地擴大了存取與社群參與的範圍。
專家混合（MoE）說明
專家混合（MoE）讓 transformer 模型在擴展參數規模的同時，透過僅在每個 token 上啟用部分神經網路專家，維持高效的預訓練與更快的推論速度。
Mixtral 8x7B 發行說明
Mistral AI 已發布 Mixtral 8x7B，一款混合專家（MoE）模型，在大多數基準測試中超越 Llama 2 70B 並匹配 GPT-3.5 的表現，同時在 Apache 2.0 許可下保持商業寬容。
SetFitABSA：少樣本面向屬性情感分析
Hugging Face 與 Intel Labs 推出了 SetFitABSA，一個無提示、少樣本的面向屬性情感分析框架，在資料稀少的情況下表現優於如 Llama 2 與 T5 等較大型的生成模型。
Optimum-NVIDIA 發行說明
Hugging Face 已發布 Optimum-NVIDIA，一個推理庫，透過 FP8 量化與 TensorRT-LLM，使 LLM 在 NVIDIA 平台上的推理速度提升最高可達 28 倍。
Hugging Face LoRA 動態載入加速推論 300% 並降低延遲
Hugging Face 宣布了一套動態 LoRA 載入系統，將熱身時間從 25 秒縮短至 3 秒，使 LoRA 推論速度提升最高達 300 %，並將總回應時間從 35 秒降低至 13 秒。
Hugging Face 與 AMD 為 LLMs 提供 GPU 加速
Hugging Face 與 AMD 已將適用於 AMD Instinct GPU 的即插即用支援整合到 Transformers 庫和 Text Generation Inference 中，使得無需程式碼變更即可實現高效能的 LLM 執行。
Hugging Face Open LLM 排行榜 DROP 基準測試分析
Hugging Face 在發現有瑕疵的歸一化和停止詞配置導致大多數模型得分異常低後，已將 DROP 基準測試從 Open LLM 排行榜中移除。
SDXL 與 Stable Diffusion 使用 Latent Consistency LoRAs 進行快速推理
Hugging Face 推出 LCM LoRAs，一種方法，使 SDXL 和 Stable Diffusion 模型能夠在 4 到 8 步內生成高品質圖像，顯著降低推理時間。
Prodigy-HF 整合發布說明
Explosion 已發布 Prodigy-HF，一個外掛，使使用者能直接在標註資料上微調 Hugging Face transformer 模型，並能直接將資料集上傳至 Hugging Face Hub。
在 AWS Inferentia2 上使用 optimum-neuron 部署 Llama 2
Hugging Face 已將 optimum-neuron 與 AWS Neuron SDK 整合，以在 AWS Inferentia2 加速器上部署 Llama 2 模型，實現高效能的文字生成。
比較 RoBERTa、Llama 2 與 Mistral 在災難推文分類上的 LoRA
一項比較研究顯示，在使用 Low-Rank Adaptation (LoRA) 進行微調後，較小的 RoBERTa 模型在災難推文的二元分類任務上優於 Llama 2 與 Mistral 7B。
Hugging Face Hub 儲存區域
Hugging Face 為 Enterprise Hub 客戶推出了儲存區域功能，使組織能夠選擇其模型和資料集的存放位置，以提升法規遵循性和資料傳輸效能。
個人 Copilot: 訓練您自己的編碼助理
Hugging Face 展示了如何通過在特定代碼庫上使用 QLoRA 和完整微調技術對 StarCoder 進行微調，來創建個人化的編碼助理 HugCoder。
Hugging Face 與 Renumics Spotlight 整合，實現可擴展的資料檢查
Hugging Face 已與 Renumics Spotlight 整合，以實現互動式、單行代碼的機器學習資料集視覺化與檢查，包括對多模態資料和模型結果的支援。
優化 Stable Diffusion XL (SDXL) 的推理速度與記憶體使用
Hugging Face 探索了 Stable Diffusion XL (SDXL) 的多種優化技術，展示了如何將記憶體使用量從 28GB 降低至低至 11.47GB，並將推理延遲從 72.2 秒降低到大約 10.3 秒。
使用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 透過 Inference Endpoints 引入 Text Embeddings Inference (TEI)，提供一種高效能且具成本效益的方式來部署開源嵌入模型，用於 RAG 和語義搜尋。
The N 關於 RLHF 與 PPO 的實作細節 – Hugging Face 博客摘要
Hugging Face 部落格文章重現了 OpenAI 2019 年的 RLHF 程式碼庫，匹配其學習曲線，並詳細說明 N 個實作細節，其中包括一個關鍵的 PyTorch Adam 優化器差異，導致更新更積極。
Gradio-Lite: 完全在您的瀏覽器中運行的無伺服器 Gradio
Hugging Face 推出 Gradio-Lite (@gradio/lite)，一個使用 Pyodide 在網頁瀏覽器中直接運行 Gradio 應用程式的 JavaScript 庫，消除了對伺服器基礎設施的需求。
使用 ONNX Runtime 加速 Hugging Face 模型
Hugging Face 和 ONNX Runtime 使超過 130,000 個模型能夠實現效能加速，包括相較於 PyTorch，whisper-tiny 模型的延遲減少高達 74.30%。
Hugging Face 聊天範本
Hugging Face 推出了基於 Jinja 的聊天範本系統，以確保聊天模型接收到的輸入格式與訓練時完全一致，從而防止效能無預警下降。
在 Cloud TPU v5e 上使用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 現在支援在 Cloud TPU v5e 上使用 JAX 提供 Stable Diffusion XL (SDXL) 服務，相較於 TPU v4，每美元的性能最高可提升 2.4 倍。
透過 Hugging Face Inference API 部署 AI Comic Factory
Hugging Face 提供了一個使用 Inference API 部署 AI Comic Factory 私人實例的指南，利用 Llama-2 和 SDXL 1.0 模型。
使用 TRL 透過 DDPO 微調 Stable Diffusion
Hugging Face 已將 Denoising Diffusion Policy Optimization (DDPO) 整合到 TRL 函式庫中，利用強化學習使 Stable Diffusion 模型與人類偏好對齊。
Hugging Face 倫理與社會更新 2023 夏季版
Hugging Face 詳細介紹了其在 2023 年夏季致力於影響美國、歐盟與英國 AI 監管的努力，同時透過公眾倡權與技術研究推進開源倫理。
Hugging Face 指南：無需程式碼訓練 LLaMA 2 聊天機器人
Hugging Face 透過使用 Spaces、AutoTrain 和 ChatUI 提供無程式碼工作流程，使非工程師能夠微調 LLaMA 2 並將其部署為功能聊天應用程式。
Llama 2 在 Amazon SageMaker 上的基準測試
Hugging Face 分析了 Llama 2 在 Amazon SageMaker 上的 60 種部署配置，以找出成本、吞吐量和延遲的最佳設置。
Hugging Face Inference for PROs
Hugging Face 為 PRO 用戶推出了 Inference for PRO，為精選的尖端模型提供加速的 API 端點，並提升了免費版 Inference API 的速率限制。
Rocket Money x Hugging Face: 在生產環境中擴展波動的 ML 模型
Rocket Money 使用 Hugging Face 的 Inference API 將其交易分類系統擴展至每月超過十億筆交易，以取代舊版 regex 基礎系統。
3D 高斯溶膠簡介
3D 高斯溶膠是一種光柵化技術，能夠從少量圖像學習並實時渲染出寫實的 3D 場景。
Hugging Face 物件偵測排行榜
Hugging Face 發布了一個使用 COCO 風格指標的物件偵測排行榜，對開源模型進行排名，並發表了一篇部落格，解釋如何計算平均精度 (Average Precision) 和平均召回率 (Average Recall)，以及哪些因素可能影響結果。
在生產環境中優化 LLMs：精度、注意力與架構
Hugging Face 闡釋了高效部署 LLM 的關鍵技術，著重於低精度量化、Flash Attention 以提升記憶體效率，以及如 RoPE、ALiBi、MQA 和 GQA 等架構優化。
使用 PyTorch FSDP 微調 Llama 2 70B
Hugging Face 展示了如何使用 PyTorch Fully Sharded Data Parallelism (FSDP) 和 Accelerate 來微調 Llama 2 70B，以克服 CPU RAM 瓶頸並優化 VRAM 使用率。
介紹 Würstchen：用於圖像生成的快速擴散
Würstchen 是一種快速且高效的文本到圖像擴散模型，透過實現 42x 空間壓縮來顯著降低訓練和推理成本。
Hugging Face Transformers 量化概覽
Hugging Face 提供 bitsandbytes 和 auto-gptq 量化方案的原生支援，以便在較小的設備上進行大型模型推理，並實現高效的適配器微調。
SafeCoder 與閉源代碼助手
Hugging Face 推出 SafeCoder，一種基於開源 StarCoder 模型的企業級代碼助手，相較於閉源替代方案，優先考慮透明度、客製化和資料隱私。
使用 T2I-Adapters 進行 SDXL 的高效可控生成
Hugging Face 與 TencentARC 推出 T2I-Adapter-SDXL，一個輕量級即插即用模型，可透過素描和深度圖等外部訊號對 Stable Diffusion XL (SDXL) 生成進行精確控制，其計算開銷遠低於 ControlNet。
Falcon 180B 發佈說明
TII 已發佈 Falcon 180B，這是目前最大的開放可用語言模型，擁有 1800 億個參數，並在 3.5 兆個 token 上進行訓練，足以與 PaLM-2 等專有模型競爭。
Fetch 案例研究：使用 Amazon SageMaker 與 Hugging Face 將 ML 處理延遲降低 50%
Fetch 透過將其 ML 管線遷移至 Amazon SageMaker 與 Hugging Face，將收據掃描的 ML 處理延遲降低了 50%，並將文件理解模型的準確度提高了 200%。
AudioLDM 2 優化指南：使用 Hugging Face Diffusers 縮短推論時間
Hugging Face 展示了如何透過程式碼與模型優化，將 AudioLDM 2 的推論時間縮短 10 倍以上，使 10 秒音訊樣本的生成時間降至 1 秒以內。
Hugging Face Hub Git 認證變更
Hugging Face 已於 2023 年 10 月 1 日棄用基於密碼的 Git 認證，要求使用者改用個人存取權杖或 SSH 金鑰以提升安全性。
Code Llama 發布說明
Code Llama 是一系列基於 Llama 2 的開放存取模型，專門用於代碼任務，支援填充以及最多達 100,000 個 token 的長上下文窗口。
Hugging Face AutoGPTQ 與 Transformers 整合
Hugging Face 已將 AutoGPTQ 函式庫整合至 Transformers 中，實現了將 LLM 量化為 8、4、3 或 2 位元精度，在 4-bit 下能以微乎其微的精度損失來降低記憶體需求。
IDEFICS: 開放再現最先進視覺語言模型
Hugging Face 已發布 IDEFICS，一種基於 Flamingo 架構的開放存取視覺語言模型，支援 9B 和 80B 參數規模的交錯圖像與文字輸入。
Hugging Face SafeCoder 公告
Hugging Face 已推出 SafeCoder，一種自託管的企業級程式碼助理解決方案，使公司能夠在其自身安全基礎設施內建置和部署專屬的 Code LLMs。
Hugging Face Hub 在 AWS Marketplace
Hugging Face 已將其 Hub 與 AWS Marketplace 整合，使組織能夠直接透過其 AWS 帳戶支付如 Inference Endpoints 和 AutoTrain 等受管理服務的費用。