Hugging Face Transformers 量化概覽
Hugging Face 提供 bitsandbytes 和 auto-gptq 量化方案的原生支援，以便在較小的設備上進行大型模型推理，並實現高效的適配器微調。
SafeCoder 與閉源代碼助手
Hugging Face 推出 SafeCoder，一種基於開源 StarCoder 模型的企業級代碼助手，相較於閉源替代方案，優先考慮透明度、客製化和資料隱私。
使用 T2I-Adapters 進行 SDXL 的高效可控生成
Hugging Face 與 TencentARC 推出 T2I-Adapter-SDXL，一個輕量級即插即用模型，可透過素描和深度圖等外部訊號對 Stable Diffusion XL (SDXL) 生成進行精確控制，其計算開銷遠低於 ControlNet。
Falcon 180B 發佈說明
TII 已發佈 Falcon 180B，這是目前最大的開放可用語言模型，擁有 1800 億個參數，並在 3.5 兆個 token 上進行訓練，足以與 PaLM-2 等專有模型競爭。
Fetch 案例研究：使用 Amazon SageMaker 與 Hugging Face 將 ML 處理延遲降低 50%
Fetch 透過將其 ML 管線遷移至 Amazon SageMaker 與 Hugging Face，將收據掃描的 ML 處理延遲降低了 50%，並將文件理解模型的準確度提高了 200%。
AudioLDM 2 優化指南：使用 Hugging Face Diffusers 縮短推論時間
Hugging Face 展示了如何透過程式碼與模型優化，將 AudioLDM 2 的推論時間縮短 10 倍以上，使 10 秒音訊樣本的生成時間降至 1 秒以內。
Hugging Face Hub Git 認證變更
Hugging Face 已於 2023 年 10 月 1 日棄用基於密碼的 Git 認證，要求使用者改用個人存取權杖或 SSH 金鑰以提升安全性。
Code Llama 發布說明
Code Llama 是一系列基於 Llama 2 的開放存取模型，專門用於代碼任務，支援填充以及最多達 100,000 個 token 的長上下文窗口。
Hugging Face AutoGPTQ 與 Transformers 整合
Hugging Face 已將 AutoGPTQ 函式庫整合至 Transformers 中，實現了將 LLM 量化為 8、4、3 或 2 位元精度，在 4-bit 下能以微乎其微的精度損失來降低記憶體需求。
IDEFICS: 開放再現最先進視覺語言模型
Hugging Face 已發布 IDEFICS，一種基於 Flamingo 架構的開放存取視覺語言模型，支援 9B 和 80B 參數規模的交錯圖像與文字輸入。
Hugging Face SafeCoder 公告
Hugging Face 已推出 SafeCoder，一種自託管的企業級程式碼助理解決方案，使公司能夠在其自身安全基礎設施內建置和部署專屬的 Code LLMs。
Hugging Face Hub 在 AWS Marketplace
Hugging Face 已將其 Hub 與 AWS Marketplace 整合，使組織能夠直接透過其 AWS 帳戶支付如 Inference Endpoints 和 AutoTrain 等受管理服務的費用。
使用 BentoML 部署 DeepFloyd IF
Hugging Face 展示如何使用 BentoML 部署 DeepFloyd IF 文字到圖像模型，使其多階段像素擴散架構能夠在多個 GPU 上獨立擴展。
使用 🤗 Transformers 優化 Bark
Hugging Face 展示了如何使用 Better Transformer、半精度 (fp16) 與 CPU 卸載來減少 Bark 文字轉語音模型的記憶體佔用並提升推理速度。
Swift Transformers 發布：在蘋果設備上運行 On-Device LLMs
Hugging Face 發布了 alpha swift-transformers Swift 套件、swift-chat 示範應用、已更新的 exporters 和 transformers-to-coreml 工具，以及 Llama 2 7B 和 Falcon 7B 的 Core ML 版本，使開發者能夠在蘋果應用中於設備上運行 on-device LLMs。
使用 TRL 進行 Direct Preference Optimization (DPO) 來微調 Llama 2
Hugging Face 已將直接偏好優化 (DPO) 整合到 TRL 函式庫中，使得能夠使用簡化的二元交叉熵損失來對齊 Llama 2 和其他大型語言模型 (LLMs)，而無需複雜的來自人類回饋的強化學習 (RLHF) 流程。
透過 Hugging Face Inference Endpoints 部署 MusicGen
Hugging Face 展示如何使用 Inference Endpoints 和自訂處理程式（針對標準管線不支援的模型）將 MusicGen（一個文字到音樂生成模型）部署為 API。
朝向使用FHE的加密大型語言模型
Hugging Face 與 Zama 展示了 Fully Homomorphic Encryption (FHE) 如何使大型語言模型能夠處理加密的使用者資料，同時保護模型擁有者的智慧財產。
Huggy Lingo: 使用機器學習改進 Hugging Face Hub 語言中繼資料
Hugging Face 正在使用 fastText 語言識別模型和 Librarian-Bot 自動偵測並建議目前缺少語言中繼資料的資料集的語言中繼資料。
Practical 3D Asset Generation Guide
Hugging Face 提供了一個逐步工作流程，透過結合 OpenAI 的 Shap-E 模型與 Blender 與 Dream Textures，來創建低保真、PS1 風格的 3D 資產。
Segmind SD-Small 與 SD-Tiny 知識蒸餾發佈
Segmind 開源了 SD-Small 與 SD-Tiny 的代碼與預訓練權重，這兩款擴散模型比 Stable Diffusion 小 35% 與 55%，同時提供高達 2 倍的推理加速。
在 Mac 上使用進階 Core ML 量化的 Stable Diffusion XL
Hugging Face 與 Apple 已將 Stable Diffusion XL 移植至 Core ML，引入混合位元調色板量化技術，使 UNet 大小減少 71%，同時在 Apple Silicon Mac 上保持圖像品質。
Agents.js 發布：使用 JavaScript 為 LLMs 提供工具
Hugging Face 已發布 Agents.js，一個 JavaScript 庫，使 LLMs 能夠在瀏覽器或伺服器上存取並執行工具。
Hugging Face 與合作夥伴概述歐盟 AI 法案的開放機器學習考量
Hugging Face 與 Creative Commons、Eleuther AI、GitHub、LAION、Open Future 組成聯盟，提出五項關鍵建議，以確保歐盟 AI 法案支援開放原始碼機器學習發展。
Hugging Face 開源 AI 遊戲 Jam 結果
Hugging Face 舉辦了首屆開源 AI 遊戲 Jam，產生了 88 款遊戲作品，這些作品在資產、編碼和遊戲機制方面整合了開源 AI 工具。
Hugging Face Diffusers 一週年回顧
Hugging Face 慶祝 Diffusers 函式庫的一週年，重點介紹了其如何演進為一個用於文字轉圖像、影片、3D 和音訊生成的模組化工具箱。
Llama 2 發佈與 Hugging Face 整合
Meta 已發佈 Llama 2，這是一個可用於商業用途的開放存取大型語言模型系列，並已全面整合至 Hugging Face 生態系統中。
Hugging Face AI WebTV：構建自動化視訊與音樂合成串流
Hugging Face 開發了 AI WebTV，一個使用 Zeroscope 與 MusicGen 從 LLM 生成的提示詞自動合成視訊與音樂串流的實驗示範。
開源文字生成與 LLM 生態系統於 Hugging Face
Hugging Face 的 2023 部落格文章概覽了開源文字生成與 LLM 生態系統，涵蓋模型背景、授權、服務工具以及參數高效微調。
使用 Hugging Face Diffusers 在 Intel Sapphire Rapids CPU 上微調 Stable Diffusion
Hugging Face 展示了如何僅使用五張範例圖像，透過文字反演在 Intel Sapphire Rapids CPU 上微調 Stable Diffusion 模型，示範了透過 Intel Extension for PyTorch 和 oneCCL 進行 CPU 基礎微調。
使用 Transformers.js 製作具備 ML 能力的網頁遊戲
Hugging Face 展示如何使用 Transformers.js 和經微調的 MobileViT 模型，在瀏覽器中完全運行即時素描偵測遊戲 Doodle Dash。
使用 Hugging Face Inference Endpoints 部署 LLMs
Hugging Face Inference Endpoints 是一種受管理的 SaaS 解決方案，讓開發者能夠使用自動擴展、scale-to-zero 和企業級安全等功能，將開源 LLMs 部署為生產就緒的 API。
Hugging Face: 使用開放 ML 模型製作網頁應用產生器
Hugging Face 展示了如何使用 NodeJS、WizardCoder-15B 模型以及 Hugging Face Inference Endpoints API 建構 text-to-webapp 生成器。
利用 Hugging Face 處理複雜生成式 AI 用例：Writer 案例研究
Hugging Face 強調與 Writer 的合作，展示該公司如何從使用者轉變為客戶與開源貢獻者，同時利用 Hugging Face 專家加速計畫實現可擴展的 LLM 生產。
加速視覺語言模型：BridgeTower 在 Habana Gaudi2 上
Hugging Face 示範，在 Habana Gaudi2 上使用 Optimum Habana 進行 BridgeTower 視覺語言模型的微調，透過增加資料載入工作程序數以及硬體加速的圖像解碼，可達到比 Nvidia A100 快 2.5 倍、比 H100 快 1.4 倍。
Hugging Face 倫理與社會通訊 #4：文字生成圖像模型中的偏見
Hugging Face 概述了文字生成圖像模型中複雜的偏見來源，並提出結合探索工具、紅隊演練和文件記錄等多種方法來檢測並減輕這些偏見。
Hugging Face Open LLM Leaderboard MMLU 評估分析
Hugging Face 說明 MMLU 基準的不同實作細節如何導致相同 LLM 的效能分數和排名出現顯著差異。
Panel 與 Hugging Face Spaces 的整合
Hugging Face 已將 Panel 模板整合到 Hugging Face Spaces，使用戶能夠輕鬆構建和部署基於 Python 的儀表板和複雜應用程式。
Hugging Face 對美國 NTIA 關於 AI 問責制徵求意見的回應
2023 年 6 月 12 日，Hugging Face 就美國 NTIA 關於 AI 問責制的徵求意見提交了回應，建議問責機制應涵蓋完整的 ML 生命週期、將內部文件與外部透明度相結合，並納入廣泛的利益相關者。
針對低資源 ASR 微調 MMS Adapter 模型
Hugging Face 展示如何在低資源 ASR 資料上微調 Massive Multilingual Speech (MMS) adapter 層，僅需數分鐘即可獲得低詞錯誤率，同時保持大型預訓練模型凍結。
Autoformer – Transformers 對時間序列預測有效
Hugging Face 宣布 Autoformer 模型現在已在 🤗 Transformers 庫中提供，顯示基於 Transformer 的模型在時間序列預測基準測試中優於如 DLinear 這樣的簡單線性基線。
Hugging Face 內容指引與政策更新
Hugging Face 已更新其內容政策，以應對審核機器學習工件的獨特挑戰，並將同意作為核心價值，以保護使用者權利與隱私。
將 Livebook 筆記本部署為應用程式至 Hugging Face Spaces
Hugging Face 現在支援將 Livebook 筆記本部署為互動式應用程式至 Hugging Face Spaces，使得基於 Elixir 的機器學習應用程式能夠輕鬆共享。
在 iPhone、iPad 和 Mac 上使用 Core ML 加速 Stable Diffusion
Hugging Face 與 Apple 在 Core ML 中引入了 6 位調色板量化和更新的注意力層優化，以顯著降低記憶體使用量並提升 Stable Diffusion 在 Apple 裝置上的推理速度。
Hugging Face 與 AMD 合作加速模型
Hugging Face 與 AMD 已經合作以優化最先進的 Transformer 模型，適用於 AMD CPU、GPU 與 AI 加速器，從而提升訓練與推理的成本效益標準。
專為美術館、圖書館、檔案館與博物館設計的 Hugging Face Hub
Hugging Face 發布了一份指南，展示美術館、圖書館、檔案館和博物館如何利用其 Hub 來分享模型、資料集和演示，從而降低 GLAM 領域使用機器學習的門檻。
基礎模型能像人類一樣標記數據嗎？Hugging Face 分析
Hugging Face 調查了 GPT-4 是否能可靠地取代人類標註者進行 LLM 偏好評估，發現其存在顯著的位置偏誤與冗長偏誤，限制了其作為人類判斷代理的準確性。
Hugging Face Hub 與 DuckDB 整合用於數據集分析
Hugging Face 現在允許使用者透過 DuckDB，對 Hub 上超過 50,000 個已自動轉換為 Parquet 格式的公開數據集執行 SQL 查詢。
fastText 與 Hugging Face Hub 整合
Hugging Face 現在託管 fastText 詞向量的官方鏡像，支援 157 種語言以及一個語言識別模型，簡化模型存取與部署。
Falcon 模型發布與 Hugging Face 生態系統整合
Hugging Face 宣布了 Falcon 系列開放 Apache‑2.0 授權的語言模型，強調 Falcon‑40B 在 Open LLM 排行榜上的首位排名，並展示如何使用 Hugging Face 工具來運行、量化和微調它們。