✷ 封存 · 11 個實驗室 · 3,061 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
使用 DeepSpeed 加速大型模型訓練
Hugging Face 示範如何使用 Accelerate 函式庫整合 DeepSpeed 的 ZeRO 優化，使得可以使用更大的批次大小，並訓練原本會超出 GPU 記憶體的模型。
OpenAI 影片預訓練（VPT）於 Minecraft
OpenAI 推出了影片預訓練（VPT），這是一種半監督式模仿學習方法，透過在大量未標記的人類遊玩影片資料集上訓練，使代理能在 Minecraft 中學習複雜行為。
開始使用嵌入 – Hugging Face 教程
Hugging Face 宣布了一份逐步指南，說明如何使用 Sentence‑Transformers 函式庫與 Hugging Face Hub 建立、託管與查詢向量嵌入，展示可搜尋的 FAQ 系統。
使用 Hugging Face Optimum 將 Transformers 轉換為 ONNX
Hugging Face 提供三種將 Transformers 模型轉換為 ONNX 的方法，從低階的 torch.onnx API 到高階的 Optimum 函式庫皆有涵蓋。
OpenAI 大模型演化（ELM）研究
OpenAI 推出大模型演化（ELM），這是一種利用大型語言模型（LLM）通過模擬類似人類的程式碼變異來改進基因程式設計，從而在新領域生成可運作程式的方法。
Anthropic Softmax Linear Units (SoLU) 研究
Anthropic 推出 Softmax Linear Units (SoLU)，這是一種針對 MLP 激活函數的架構變更，能在不犧牲模型性能的情況下，增加可解釋神經元的比例。
Intel 與 Hugging Face 合作推動機器學習硬體加速
Intel 已加入 Hugging Face 硬體合作夥伴計畫，開發 Optimum Intel 函式庫，使在 Intel 平台上對 Transformer 模型的訓練、微調與推論能夠更順暢地進行硬體加速。
Hugging Face 機器學習洞見總監：金融版
來自美國銀行、加拿大皇家銀行（RBC）以及穆迪分析的專家討論了機器學習如何透過詐騙偵測與個人化產品改變金融業，同時應對遺留系統與監管要求等挑戰。
AI 撰寫的批評有助於人類注意缺陷
OpenAI 的研究顯示，AI 生成的批評有助於人類評估者在摘要中識別出顯著更多的缺陷，暗示了一條可擴展的人類監督複雜 AI 任務的路徑。
OpenAI 大型神經網路訓練技術
OpenAI 概述了主要的平行化策略——資料平行、管線平行、張量平行與專家平行——以及用於協調 GPU 叢集以訓練大型 AI 模型的節省記憶體技術。
太空侵略者的深度 Q 學習
Hugging Face 解釋了深度 Q 學習（DQN），這是一種使用神經網路來近似 Q 值的強化學習方法，適用於像 Atari 遊戲這樣的高維狀態空間。
註釋式擴散模型 – DDPM 實作的詳細步驟說明
Hugging Face 發布了一個註釋式、逐步的 PyTorch 實作，說明如何建構、訓練以及從擴散模型中抽樣以產生圖像的去噪擴散概率模型（DDPM）。
OpenAI、Cohere 與 AI21 Labs 部署語言模型的最佳實踐
OpenAI、Cohere 與 AI21 Labs 已發布一套聯合的初步最佳實踐，旨在負責任地開發與部署大型語言模型，以降低風險並防止濫用。
OpenAI 研究：教導模型以文字表達其不確定性
OpenAI 研究人員展示了 GPT-3 可以在不依賴模型 logits 的情況下，透過自然語言表達其答案的校準不確定性。
Graphcore 與 Hugging Face 擴展 IPU 就緒的 Transformer 模型
Graphcore 與 Hugging Face 已擴充 Hugging Face Optimum 函式庫，納入 10 個針對 Graphcore IPU 優化的 Transformer 模型，涵蓋 NLP、語音與電腦視覺領域。
Hugging Face Hub 社群更新：拉取請求與討論
Hugging Face 已在 Hub 引入拉取請求與討論功能，讓社群在模型、資料集與 Spaces 上進行協作，無需建立倉庫分支。
OpenAI Codex 應用與整合
OpenAI Codex 是一個基於 GPT-3 的自然語言轉程式系統，支援超過 70 個應用程式，包括 GitHub Copilot，透過將英文指令轉換為程式碼來提升開發者的生產力。
TAPEX：透過神經式 SQL 執行的高效表格預訓練
TAPEX 是一種表格預訓練方法，透過合成的 SQL 執行配對，在表格問答與事實驗證上達到最先進的表現，且相較於以往方法具備顯著更高的效率。
Anthropic 研究：從重複數據中學習的縮放定律與可解釋性
Anthropic 研究人員發現，重複一小部分訓練數據會透過消耗模型的容量來進行記憶，並損害如 induction heads 等泛化結構，從而嚴重降低 LLM 的性能。
Hugging Face 關於 Q-Learning 的介紹
Hugging Face 提供了一份關於 Q-Learning 的技術指南，這是一種使用 Q 表來決定最佳狀態-動作配對的離策略基於價值的強化學習方法。
Hugging Face 多模態專案倫理憲章
Hugging Face 為其多模態學習專案制定了倫理憲章，將倫理原則、透明度與公平性直接融入機器學習研究生命週期。
Sempre Health 案例研究：加速 NLP 流程的 Hugging Face 專家加速計畫
Sempre Health 利用 Hugging Face 專家加速計畫部署了一個 NLP 流程，能自動處理超過 20% 的患者來訊，顯著提升了業務可擴展性。
OpenAI DALL·E 2 研究預覽更新
OpenAI 正在以每週 1,000 名使用者的速度向等候名單上的使用者擴大 DALL·E 2 的存取，這是在產生超過 300 萬張圖像的有限研究預覽之後。
Hugging Face 深度強化學習課程 第2單元 第1部分：Q學習概念導論
Hugging Face 發布了其深度強化學習課程的第一部分，說明了基於價值的方法、貝爾曼方程式，以及 Monte‑Carlo 與 Temporal‑Difference 學習，作為 Q‑Learning 的基礎。
Hugging Face 獎學金計畫公告
Hugging Face 推出獎學金計畫，透過資源、認可與量身訂製的支援，協助並賦能開源機器學習生態系統的關鍵貢獻者。
機器學習專家訪談 Sasha Luccioni – 關於倫理 AI 與氣候影響的重點
Hugging Face 采訪了研究科學家 Sasha Luccioni，她討論了她在倫理 AI、碳足跡測量以及將機器學習應用於氣候與社會挑戰方面的工作。
Gradio 3.0 發行說明
Hugging Face 已發布 Gradio 3.0，包含完整的前端重新設計，並引入 Gradio Blocks 以在 Python 中構建複雜、客製化的機器學習 Web 應用。
Hugging Face 學生大使計畫 2022
Hugging Face 推出了首個學生大使計畫，以協助實現其在 2023 年前教導 500 萬人機器學習的目標。
Hugging Face 機器學習洞見總監：SaaS 版
Hugging Face 採訪了來自 Salesforce、Amplitude、ZoomInfo 與 Repustate 的四位機器學習總監，討論將機器學習整合至 SaaS 產品的實務挑戰、常見陷阱與未來機會。
Optimum 1.2 推理發布加入 ONNX Runtime 加速管線
Hugging Face 宣佈了 Optimum 1.2，新增了透過 ONNX Runtime 的推理支援與 Transformers 管線整合，使模型服務更快速、具量化且經過最佳化。
Hugging Face C 輪融資公告
Hugging Face 獲得 1 億美元的 C 輪融資，以透過開源研究、產品與協作式機器學習加速 AI 的民主化。
fastai 與 Hugging Face Hub 的整合
Hugging Face 已整合 fastai 函式庫，讓使用者能夠透過一行 Python 程式碼，直接將 fastai Learner 物件上傳至 Hugging Face Hub 或從中下載。
OpenAI 領導團隊更新
OpenAI 宣布了 Greg Brockman、Brad Lightcap、Mira Murati 與 Chris Clark 的執行職務變動，以使領導層與公司成長及策略里程碑保持一致。
Hugging Face 深度強化學習簡介
Hugging Face 發布了一個免費深度強化學習課程的入門教學，涵蓋核心 RL 概念、RL 框架、探索與利用的權衡、基於策略與基於價值的方法，以及深度神經網路如何結合於 RL。
使用 PyTorch Fully Sharded Data Parallel 加速大型模型訓練
Hugging Face 將 PyTorch Fully Sharded Data Parallel (FSDP) 整合至 Accelerate 函式庫中，透過將優化器狀態、梯度和參數分片到 GPU 上，並提供可選的 CPU offloading 功能，實現了巨型模型的訓練。
Anthropic Series B 融資用於 AI 安全與研究
Anthropic 已籌集了 5.8 億美元的 B 輪融資，用於建立旨在改善計算密集型 AI 模型的可控性、可解釋性與穩健性的大規模實驗性基礎設施。
使用 Kili 與 HuggingFace AutoTrain 進行意見分類
Hugging Face 示範如何使用 Kili 進行資料標註，並利用 AutoTrain 進行自動化模型訓練，構建文字分類的主動學習管線。
Hugging Face 機器學習總監洞見 – 產業觀點
Hugging Face 發布了一系列與六位機器學習總監的訪談，分享了機器學習如何改變媒體、製藥、科學、物流、行銷與能源領域，同時突顯共同的挑戰與未來機會。
在 Habana Gaudi 上開始使用 Transformers
Hugging Face 與 Habana Labs 合作，加速 Transformer 模型的訓練，與基於 GPU 的 Amazon EC2 實例相比，Habana Gaudi 加速器可提供高達 40% 的價格效能提升。
以機器學習提升客戶服務效能
Hugging Face 展示了如何使用微調的 DeBERTa-v3-base 模型以及 Transformers 與 Datasets 套件，自動過濾不滿的客戶回饋。
Hugging Face 教育倡議 2022 發佈
Hugging Face 在 2022 年 4 月宣布了一項多軌教育計畫，目標在 2023 年底前教導 500 萬人機器學習，並為學習者、教師以及大眾提供免費資源。
Hugging Face Hub 碳排放追蹤
Hugging Face 已推出工具，用於追蹤、報告與篩選基於 CO2 排放的機器學習模型，以提升 AI 的環境透明度。
測量 AI 對齊中的古德哈特定律
OpenAI 探討在 AI 模型中優化代理目標如何導致真實目標表現下降，這一現象稱為古德哈特定律，並提出 best-of-n 抽樣作為分析方法。
使用 CLIP 潛向的階層式文字條件圖像生成
OpenAI 推出了一個兩階段生成模型，使用先驗模型從文字產生 CLIP 圖像嵌入，並透過解碼器從這些嵌入生成圖像，提升了多樣性並實現了零樣本圖像操作。
Lewis Tunstall 访谈 – Hugging Face 机器学习专家
Hugging Face 宣布了一场关于机器学习工程师 Lewis Tunstall 的详细访谈，重点介绍了他在 Transformers 库的工作、新出版的《NLP with Transformers》一书，以及不断扩展的 Hugging Face 课程。
Habana Labs 與 Hugging Face 合作加速 Transformer 模型訓練
Habana Labs 與 Hugging Face 已將 Habana 的 SynapseAI 軟體套件與 Hugging Face Optimum 函式庫整合，以加速在 Habana Gaudi 處理器上進行 Transformer 模型訓練。
Anthropic: 使用 RLHF 訓練一個有幫助且無害的助手
Anthropic 證明了來自人類回饋的強化學習 (RLHF) 在確保助手保持有幫助且無害的同時，能提升語言模型在大多數 NLP 評估中的表現。
Hugging Face Transformers 設計哲學
Hugging Face 為 Transformers 函式庫採用了「單一模型檔案」政策，刻意拋棄 DRY（Don't Repeat Yourself）原則，以優先考慮可讀性、社群貢獻以及靜態機器學習模型的穩定性。
Decision Transformer 在 Hugging Face Transformers 中的整合
Hugging Face 已將 Decision Transformer（將強化學習視為條件序列建模問題的離線強化學習方法）整合至 transformers 程式庫與 Hugging Face Hub。
機器學習專家：訪談 Margaret Mitchell
Dr. Margaret Mitchell 討論了倫理 AI 的關鍵角色、用於提高透明度的 Model Cards 的開發，以及機器學習開發中多樣性與包容性的必要性。