✷ 封存 · 11 個實驗室 · 3,061 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Hugging Face 零樣本評估於 Hub
Hugging Face 在 Hub 上推出了針對因果語言模型的零樣本評估，使用者無需編寫程式碼即可對最高 660 億參數的模型進行基準測試。
OpenAI DALL·E 測試版現已開放，無需等候名單
OpenAI 已取消 DALL·E 測試版的等候名單，允許立即註冊，該系統目前支援超過 150 萬使用者，每天產生超過 200 萬張圖像。
Hugging Face AutoTrain 圖像分類
Hugging Face 已將圖像分類加入 AutoTrain，使使用者能在不撰寫程式碼或設定超參數的情況下，訓練自訂的圖像分類模型。
Hugging Face Accelerate：使用 PyTorch 執行大型模型
Hugging Face Accelerate 透過利用 PyTorch 的 meta 裝置與分片檢查點，管理 GPU、CPU 記憶體與磁碟的記憶體使用，使得在消費者硬體上也能執行巨量 AI 模型。
SetFit：高效的少樣本學習（無提示）
Hugging Face 推出 SetFit，一個無提示的少樣本微調 Sentence Transformers 框架，能在極少標註資料下達到高準確率。
Hugging Face 倫理與社會電子報 #1
Hugging Face 推出其倫理與社會電子報，並概述了一種透過協作、透明與負責任的價值驅動方式，去分散化地落實 AI 倫理。
OpenAI Whisper 發布
OpenAI 已發布 Whisper，一個自動語音辨識（ASR）系統，該系統在 68 萬小時的多語言與多任務監督資料上進行訓練，以提升在口音、噪音與語言方面的魯棒性。
極速 BLOOM 推理：DeepSpeed 與 Accelerate
Hugging Face 展示了在 8×80 GB A100 GPU 上，使用 DeepSpeed‑Inference 張量並行和 Accelerate 流水線並行，對 176B 參數的 BLOOM 模型實現每個 token 低於毫秒的生成速度。
Anthropic Toy Models of Superposition 研究
Anthropic 研究人員使用小型 ReLU 網路來證明，只要特徵是稀疏的，模型就可以透過一種稱為 superposition 的現象來表示比其維度更多的特徵。
Diffusers 0.3 版加入影像到影像、文字反轉、修補、GPU 最佳化、Mac MPS、ONNX 支援與新文件
Hugging Face 宣布 Diffusers 0.3 版，推出影像到影像、文字反轉、實驗性修補、較小 GPU 最佳化、Mac MPS 支援、ONNX 匯出器、擴充文件，以及一波社群專案。
離線強化學習的決策變換器訓練
Hugging Face 提供了一份指南與實作，說明如何從頭開始訓練離線 Decision Transformer，以解決 HalfCheetah 環境，並使用 transformers 的 Trainer 以及自訂的資料整理器。
使用 Megatron-LM 訓練語言模型
Hugging Face 提供了一份指南，說明如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上高效預訓練大型語言模型，並整合 Transformers 套件。
DALL·E 外延功能發布
OpenAI 已推出 DALL·E 的外延功能，允許使用者透過自然語言描述延伸圖像超出原始邊界，同時保持視覺一致性。
OpenRAIL：邁向開放且負責任的 AI 授權框架
Hugging Face 宣佈了 OpenRAIL，一套結合開放存取與使用限制的 AI 專屬授權，旨在促進機器學習模型的負責任部署。
OpenAI 宣佈使用人類回饋強化學習與 InstructGPT 的對齊策略
OpenAI 詳述其對齊方法，強調人類回饋強化學習與 InstructGPT 為低成本且有效的手段，使語言模型能遵循人類意圖，同時承認目前的限制與未來 AI 驅動的對齊研究目標。
在 Hugging Face Spaces 上視覺化蛋白質
Hugging Face 提供了一份指南，說明如何透過 Gradio 將 3Dmol.js 整合至 Hugging Face Spaces，以在瀏覽器中實現 3D 蛋白質結構的視覺化。
使用 Hugging Face Transformers 與 Habana Gaudi 進行 BERT 預訓練
Hugging Face 示範了如何在 AWS 上使用 Habana Gaudi DL1 實例從頭預訓練 BERT-base，較基於 NVIDIA V100 GPU 的訓練可降低 25% 成本。
使用 Diffusers 的 Stable Diffusion
Hugging Face 公布了如何使用 Diffusers 套件執行文字生成影像的 Stable Diffusion 模型，提供了程式碼、授權細節以及模型潛在擴散架構的說明。
Anthropic 紅隊測試語言模型報告 – 方法、規模化行為與經驗教訓
Anthropic 發布了一項詳細研究，顯示隨著規模擴大，經過人類回饋強化學習（RLHF）訓練的模型變得更難進行紅隊測試，而其他模型類型則顯示出平緩的紅隊測試能力，此外他們也發布了一個包含 38,961 次攻擊的數據集，以幫助社群提升安全性。
在 Vertex AI 上部署 Hugging Face ViT
Hugging Face 示範如何在 Google Cloud 的 Vertex AI 平台上部署 Vision Transformer（ViT）模型，以實現 Kubernetes 級別的可擴展性，同時大幅減少程式碼量。
Vision Transformers 在 Hugging Face Optimum Graphcore 上
Hugging Face 與 Graphcore 透過 Optimum 函式庫，使在智慧處理單元（IPU）上高效微調 Vision Transformer（ViT）模型成為可能，並以多標籤胸部 X 光分類任務示範其效能。
Hugging Face 將 LLM.int8() 8 位矩陣乘法整合至 Transformers 與 Accelerate
Hugging Face 發佈了將 LLM.int8() 8 位量化技術整合至 Transformers 與 Accelerate 函式庫的功能，使得在不降低效能的情況下，對極大型語言模型進行推論，並可節省高達 2 倍的記憶體用量。
Hugging Face 的 TensorFlow 哲學
Hugging Face 概述了其對 TensorFlow 整合的技術方法，強調與 Keras 及 XLA 的深度對齊，以優化 transformer 模型的效能與部署。
Skops 函式庫讓 scikit-learn 模型在 Hugging Face Hub 上託管、文件化與協作
Hugging Face 宣佈了 Skops，一個讓使用者能打包、文件化並將 scikit-learn 模型推送至 Hub，且自動生成模型卡與推論小工具的函式庫。
在 Kubernetes 上使用 TF Serving 部署 Hugging Face ViT
Hugging Face 提供了一份技術指南，說明如何使用 Docker 與 Kubernetes 搭配 TensorFlow Serving 來擴展 Vision Transformer（ViT）部署，以實現生產等級的自動擴縮與資源管理。
OpenAI 內容審查端點發布
OpenAI 已發布免費的審核端點，提供基於 GPT 的分類器，協助開發者在其應用程式中偵測並阻止違規內容。
Hugging Face Sentence Transformers 訓練指南（歷史參考）
Hugging Face 公布了一篇過時的教學，說明如何訓練與微調 Sentence Transformers 模型，涵蓋模型架構、資料集格式、損失函式以及模型上傳方式，同時引導使用者使用較新的訓練 API。
Hugging Face 深度強化學習課程第 8 單元：近端策略優化（PPO）說明
Hugging Face 提供了 Proximal Policy Optimization（PPO）的詳細步驟說明，展示了透過裁剪策略更新比例如何穩定訓練，並提供了從頭實作的 PyTorch 範例，已在 CartPole‑v1 與 LunarLander‑v2 上測試。
Hugging Face 私有 Hub 介紹
Hugging Face 推出了 Private Hub（現已更名為 Enterprise Hub），這是一個安全且符合規範的環境，讓公司能夠使用統一的工具集協作機器學習模型、資料集與 Spaces。
Nyströmformer：透過 Nyström 方法在線性時間與記憶體中近似自注意力
Nyströmformer 透過使用 Nyström 方法以抽樣的 landmarks 近似 softmax 矩陣，將標準自注意力的時間與記憶體複雜度從 O(n^2) 降低至 O(n)。
Hugging Face 對美國國家 AI 研究資源的建議
Hugging Face 向白宮與國家科學基金會提交回應，主張國家 AI 研究資源（NAIRR）應優先考慮倫理專業知識、標準化文件化以及可取得的工具，以實現 AI 研究的民主化。
OpenAI 宣布高效的 Fill‑in‑the‑Middle 語言模型訓練方法
OpenAI 發佈了一種新訓練方法，使自回歸語言模型能夠執行填充中間（fill‑in‑the‑middle）任務，同時不犧牲從左至右的生成品質，提供了一種簡單且高效的方式來加入填充功能。
Hugging Face Datasets 音訊與視覺文件更新
Hugging Face 已擴充 🤗 Datasets 函式庫的文件，加入針對音訊與視覺資料集的專屬指南與工具，簡化多模態資料的載入與處理流程。
使用 TensorFlow 與 XLA 加速文字生成
Hugging Face 已在使用 TensorFlow 的 transformers 套件中啟用 XLA 編譯以加速文字生成，實現最高可達 100 倍的加速，且效能常常超過 PyTorch。
代碼合成大型語言模型的危害分析框架
OpenAI 推出了一套危害分析框架，以識別並減輕與部署像 Codex 這樣的先進程式碼生成模型相關的技術、社會、政治與經濟風險。
在 Hugging Face 使用 TF Serving 部署 TensorFlow 視覺模型
Hugging Face 提供了一份指南，說明如何使用 TensorFlow Serving 部署 TensorFlow 視覺模型（例如 Vision Transformer（ViT）），並將其以 REST 或 gRPC 端點公開。
Advantage Actor Critic（A2C）說明
Hugging Face 解釋了 Advantage Actor Critic（A2C），這是一種混合式強化學習架構，透過結合基於策略的方法與基於價值的方法來降低策略梯度估計的變異性。
OpenAI DALL·E 測試版發布
OpenAI 宣布 DALL·E 現已向 100 萬名受邀使用者開放測試版，提供免費的每月點數與商業使用權。
減少偏見並提升 DALL·E 2 的安全性
OpenAI 已實施一項系統層面的技術於 DALL·E 2，以提升生成人物的多樣性，並加強安全過濾機制以防止製作欺騙性內容。
動態對抗資料收集（DADC）於 MNIST – Hugging Face 教學
Hugging Face 宣布了一個關於 MNIST 上動態對抗資料收集（DADC）的逐步教學，說明如何收集由人類產生的對抗樣本並重新訓練模型以提升韌性。
DALL·E 2：延伸創意
OpenAI 的 DALL·E 2 研究預覽已被超過 3,000 位藝術家在 118 個國家採用，將 AI 生成的影像整合到從醫療支援到高端烹飪藝術等多元創作工作流程中。
BLOOM 176B 訓練技術概覽
Hugging Face 發布了關於 1760 億參數 BLOOM 模型如何使用 384 顆 A100 GPU、Megatron‑DeepSpeed 3D 並行以及 BF16 混合精度進行訓練的詳細說明，重點說明了硬體、軟體堆疊與工程挑戰。
使用句子轉換模型構建播放清單生成器
Hugging Face 示範如何使用 Sentence Transformers 進行歌詞嵌入的語意搜尋，並以 Gradio Blocks 建立使用者介面，打造語意搜尋式的播放清單生成器。
BLOOM：全球最大開放多語言語言模型
Hugging Face 與 BigScience 計畫已發布 BLOOM，這是一個擁有 1760 億參數的開放存取多語言語言模型，於 46 種自然語言與 13 種程式語言上以完全透明的方式進行訓練。
Anthropic 研究：語言模型（大部分）知道自己知道什麼
Anthropic 研究證明，大型語言模型可以有效地評估其自身主張的有效性，並預測其知曉答案的可能性，為實現更誠實的 AI 提供了一條路徑。
開始使用 Twitter 情感分析
Hugging Face 提供了一份指南，說明如何使用 Inference API 對 Twitter 資料執行自動化情感分析，適用於開發者與非程式開發者。
使用 PyTorch 的策略梯度 – Hugging Face 深度強化學習課程 第 5 單元
Hugging Face 發布了一個教學，從頭開始在 PyTorch 中實作 REINFORCE 蒙特卡羅策略梯度演算法，並在 CartPole‑v1、PixelCopter 與 Pong 上進行評估。
使用 Sentence Transformers 開始機器學習之旅
Hugging Face 提供了一份指南，幫助初學者使用 Sentence Transformers 套件開始他們的第一個機器學習專案，透過建立嵌入向量並執行語意搜尋。
DALL·E 2 預訓練緩解措施
OpenAI 實施了主動學習的資料過濾、用於防止偏見放大的重新加權機制，以及基於聚類的去重流程，以消除 DALL·E 2 中的圖像重複生成問題。
Hugging Face 在 Hub 上的評估
Hugging Face 推出了 Evaluation on the Hub，這是一個由 AutoTrain 提供動力的無程式碼工具，讓使用者能直接在 Hugging Face Hub 上使用任何指標對任何模型在任何資料集上進行評估。