使用 Hugging Face Transformers、TensorFlow 與 TPU 訓練語言模型
Hugging Face 提供了一套可擴展的端對端指南,使用 TensorFlow 與 TPU pod 從頭訓練遮蔽語言模型,透過 XLA 相容性實現高效能運算。
Databricks 與 Hugging Face 整合 Apache Spark 加速 LLM 訓練
Databricks 透過 Dataset.from_spark() 函式在 Hugging Face Datasets 中引入了第一流的 Apache Spark 支援,將大型模型訓練與微調的資料載入時間縮短最高可達 40%。
在免費等級的 Google Colab 上使用 Diffusers 執行 DeepFloyd IF
Hugging Face 示範了如何在免費的 Google Colab 筆記本上執行開源的 DeepFloyd IF 文字轉圖像模型,方法包括使用 8 位元量化、模組化管線載入以及 Diffusers 整合的最佳化。
OpenAI 為 ChatGPT 推出全新資料管理控制
OpenAI 推出了一項新設定,可停用聊天記錄以防止模型在使用者對話上進行訓練,同時規劃 ChatGPT 商務訂閱與全新資料匯出工具。
Hugging Face 推出中文語言部落格以支援全球 AI 社群
Hugging Face 已推出專屬中文語言部落格 (hf.co/blog/zh),提供翻譯技術資源,並促進與中文 AI 社群更深入的合作。
在 Hugging Face Spaces 上託管 Unity 遊戲
Hugging Face Spaces 可透過使用 Static HTML 模板與 WebGL 建置目標來託管可遊玩的 Unity 遊戲。
使用 AWS Inferentia2 加速 Hugging Face Transformers
Hugging Face 與 AWS 已針對 AWS Inferentia2 這款專為推論設計的加速器,優化了 Transformers,使大型模型的延遲顯著降低,吞吐量顯著提升。
使用 Transformers 進行圖形分類
Hugging Face 示範了如何在 Transformers 套件中使用 Graphormer 模型執行圖形分類,涵蓋資料格式化、前處理與微調。
使用 Substra 創建隱私保護的 AI
Hugging Face 與 Substra 強調聯邦學習如何在分散式資料來源上訓練 AI 模型,以維護隱私與安全,尤其在醫療等敏感領域。
OpenAI 漏洞懸賞計畫公告
OpenAI 與 Bugcrowd 合作推出漏洞懸賞計畫,以獎勵安全研究人員發現並修補系統中的漏洞。
Snorkel AI 與 Hugging Face 企業基礎模型整合
Snorkel AI 與 Hugging Face 合作,將 Hugging Face Inference Endpoints 整合至 Snorkel Flow,讓企業能輕鬆存取並調整超過 150,000 個開源基礎模型。
OpenAI 對 AI 安全的做法
OpenAI 採用多層次的安全策略,結合嚴謹的部署前測試、迭代的實務部署以及持續的對齊研究,以降低強大 AI 系統所帶來的風險。
StackLLaMA:使用 RLHF 訓練 LLaMA 於 Stack Exchange
Hugging Face 推出 StackLLaMA,一個透過監督式微調、獎勵模型與人類回饋強化學習(RLHF)訓練,以回答 Stack Exchange 問題的模型。
Hugging Face 倫理與社會通訊 #3:倫理開放倡議
Hugging Face 宣布了新的倫理開放措施——包括六個倫理標籤、舉報系統以及受眾導向的元資料——以使開源機器學習更安全且更具包容性。
在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理
Hugging Face 示範了如何在 Intel Sapphire Rapids CPU 上,透過 Optimum Intel、OpenVINO、系統層級調整、IPEX BF16 與更快的排程器,將 Stable Diffusion 影像生成時間從 32 秒縮短至約 5 秒。
BLOOMZ 在 Habana Gaudi2 加速器上的推論
Hugging Face 示範了 Habana Gaudi2 加速器在 BLOOMZ 176B 模型上的推論速度快於 Nvidia A100 80GB,並利用 Optimum Habana 函式庫與 DeepSpeed‑inference。
使用 Hugging Face 與 Flower 的聯邦學習
Hugging Face 示範如何使用 Flower 框架在預訓練的 distilBERT 模型上進行聯邦學習,以對 IMDB 資料集執行情感分析。
OpenAI 3月20日 ChatGPT 停機與資料外洩分析
OpenAI 因開源函式庫的錯誤於 2023 年 3 月 20 日將 ChatGPT 下線,該錯誤導致部分活躍的 ChatGPT Plus 訂閱者的聊天標題與付款資訊外洩。
使用 Hugging Face Diffusers 訓練 ControlNet
Hugging Face 透過 diffusers 函式庫提供完整的指南與訓練腳本,讓使用者能夠為 Stable Diffusion 訓練自訂的 ControlNet 模型,並以「Uncanny Faces」姿勢模型的製作作為示範。
ChatGPT 插件發布
OpenAI 已為 ChatGPT 推出插件,使模型能夠存取即時資訊、執行計算,並整合第三方服務,以擴展其功能並降低幻覺現象。
Hugging Face Hub 改進的 Jupyter Notebook 支援
Hugging Face 為託管於 Hub 的 Jupyter Notebook 引入了可供人類閱讀的渲染,提升了機器學習實踐者的可重現性與可取得性。
GPT 即 GPT:大型語言模型對勞動市場的影響
OpenAI 研究顯示,大約 80% 的美國勞動力可能有至少 10% 的工作任務受到大型語言模型的影響,將其定位為通用技術。
OpenAI GPT-4 公告與功能概述
OpenAI 宣佈了 GPT-4,一個大型多模態模型,在許多專業基準上達到人類水平的表現,且現在可透過 ChatGPT、API 等候名單以及開源評估工具取得。
OpenAI 宣布 GPT‑4 驅動的虛擬志工服務於 Be My Eyes
OpenAI 將 GPT‑4 的視覺輸入整合到 Be My Eyes 應用程式中,打造了一位能描述、分析並與圖像對話的虛擬志工,顯著提升盲人與弱視使用者的視覺可及性。
Stripe GPT-4 整合案例研究
Stripe 在其平台上整合了 GPT-4,以自動化業務摘要、透過文件分析提升開發者支援,並改善社群論壇的詐騙偵測。
Duolingo 整合 GPT-4 以提升進階語言學習
Duolingo 推出 Duolingo Max,這是一個全新訂閱等級,具備 GPT-4 驅動的角色扮演與「解釋我的答案」功能,提供沉浸式對話練習與情境語法回饋。
可汗學院整合 GPT-4 以驅動 Khanmigo AI 助手
可汗學院正在試行 Khanmigo,一個由 GPT-4 驅動的 AI 輔導員與教師助理,以提供個別化學習與教學支援。
OpenAI 與冰島政府合作保護冰島語言
OpenAI 已與冰島政府及私營產業合作,利用 GPT-4 與強化學習自人類回饋(RLHF)來保護冰島語在數位時代的存續。
使用 Informer 的多變量概率時間序列預測
Hugging Face 已將 Informer 模型整合至 Transformers 套件,實現高效的多變量概率時間序列預測,並降低計算與記憶體複雜度。
在 24GB 消費者 GPU 上使用 RLHF 微調 20B 大型語言模型
Hugging Face 發佈了 TRL 與 PEFT 的整合,使得能在單一 24 GB GPU 上使用 8 位元量化與低秩適配器對 200 億參數的語言模型進行強化學習微調。
Kakao Brain ViT 與 ALIGN 模型發布,搭配 COYO 700M 資料集
Kakao Brain 與 Hugging Face 發布了開源的 ViT 與 ALIGN 視覺語言模型,這些模型是以全新 700 M 圖文 COYO 資料集訓練的,提供了首個公開可用的 ALIGN 模型以及具備可重現訓練資料的 ViT 模型。
Diffusers 中的 ControlNet
Hugging Face 已將 ControlNet 整合至 Diffusers 函式庫,讓使用者能透過 Canny 邊緣、深度圖與人體姿勢等條件,對 Stable Diffusion 圖像生成進行精確的空間控制。
使用機器學習進行災害應變:afetharita 專案
Hugging Face 描述了志工如何利用 Hugging Face 生態系統快速部署 OCR、NER 與遙感的機器學習模型,以協助 2023 年 2 月土耳其地震的倖存者。
Hugging Face Diffusers 倫理指導原則
Hugging Face 為 Diffusers 函式庫推出了倫理框架,以指導技術決策與社群貢獻,同時減輕擴散模型可能帶來的社會風險。
Hugging Face 專家加速計畫:Witty Works 案例研究
Witty Works 利用 Hugging Face 專家加速計畫與 SetFit,構建了一個具備高準確度且僅需最少標記資料的情境依賴包容性語言分類器。
OpenAI 對 AGI 及未來的規劃
OpenAI 概述了一項逐步部署 AI 系統的策略,以讓社會得以適應,並強調需要加強對齊研究、全球治理,以及對生存風險採取謹慎的態度。
Swift Diffusers for Mac 1.1 發布
Hugging Face 已發布 Diffusers for Mac 1.1 版,這是一款利用 Core ML 加速 Apple Silicon 上 Stable Diffusion 的原生開源應用,於特定硬體配置下可提供最高 2 倍的生成速度提升。
大型語言模型的紅隊測試
Hugging Face 概述了紅隊測試在識別 LLM 弱點以防止有害輸出方面的關鍵角色,強調需要協作且具適應性的評估方法。
Fetch AI 基礎設施遷移:與 Hugging Face 及 AWS 整合工具
Fetch 透過從第三方 AI「黑盒」遷移至由 Hugging Face 與 AWS 支持的內部機器學習管線,將開發時間縮短 30%,處理延遲降低 50%。
Hugging Face 與 AWS 的 AI 可及性戰略合作夥伴關係
Hugging Face 與 AWS 擴大了戰略合作,透過將 Hugging Face 模型與 AWS 基礎設施及專用機器學習加速器整合,讓生成式 AI 更加民主化。
OpenAI AI 系統行為與治理框架
OpenAI 概述了兩步驟的訓練流程以塑造 ChatGPT 的行為,並提出三大支柱策略,以改進預設行為、啟用使用者自訂,並將公共意見納入 AI 治理。
Hugging Face 推理端點案例研究
Hugging Face 正在將其基於 CPU 的機器學習模型從 AWS ECS/Fargate 遷移至 Hugging Face 推理端點,以降低運營複雜度並提升延遲表現。
BLIP-2:零樣本影像到文字生成
BLIP-2 是 Salesforce Research 開發的視覺語言模型,使用查詢變換器(Q-Former)在凍結的影像編碼器與凍結的大型語言模型之間搭橋,以實現高效的零樣本影像到文字生成。
🤗 PEFT 函式庫發布,實現千億規模模型的參數高效微調
Hugging Face 宣布了 🤗 PEFT 函式庫,讓使用者僅訓練極少量參數,即可在低資源硬體上微調千億參數模型。
SpeechT5:統一模態編碼器-解碼器於語音處理
Hugging Face 已整合 SpeechT5,這是一個統一的基於 Transformer 的模型,能透過共享的編碼器-解碼器骨幹執行文字轉語音、語音轉語音與語音轉文字任務。
Hugging Face AI vs. AI:多代理強化學習競賽系統
Hugging Face 推出 AI vs. AI,一個透過持續的多代理競賽並使用 ELO 評分系統來排名深度強化學習模型的開源系統。
Hugging Face AI 用於遊戲開發:生成故事
Hugging Face 概述了一套使用大型語言模型(LLM)如 ChatGPT 生成遊戲故事與內容的工作流程,同時強調了在原創性、法律風險與長期連貫性方面的關鍵限制。
使用 Intel Sapphire Rapids 加速 PyTorch Transformers
Hugging Face 示範,將 Intel Sapphire Rapids CPU 與 Optimum Intel 函式庫結合,可將 PyTorch 變換器推論速度提升至前代 Xeon 最高 3 倍。
深入探討視覺語言模型
Hugging Face 提供了視覺語言模型的技術概述,詳細說明了五種主要的預訓練策略以及它們在 Transformers 庫中對 VQA 與影像分割等任務的整合。
ChatGPT Plus 推出
OpenAI 宣佈推出 ChatGPT Plus,這是一項每月 20 美元的訂閱服務,保證在高峰時段仍可使用、更快的回應速度,以及優先獲得功能更新,並將其可用性擴展至全球。