✷ 封存 · 11 個實驗室 · 3,061 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Yabble GPT-3 整合於客戶回饋分析
Yabble 整合了 OpenAI 的 GPT-3，將分析複雜客戶回饋資料集所需的時間從數週縮短至數分鐘。
Waymark 微調 GPT-3 以製作影片腳本
Waymark 整合了微調的 GPT-3 模型，以自動化生成量身訂做的高品質影片廣告腳本，縮短客戶的編輯時間並提升影片製作的規模。
圖形機器學習簡介
Hugging Face 提供了圖形機器學習的完整概述，說明了圖形的表示方式以及從神經網路前特徵到圖形神經網路與圖形 Transformer 的演變過程。
AI 遊戲開發：在 5 天內打造農場遊戲（第 1 部分）
Hugging Face 示範了如何使用 Stable Diffusion 為農場遊戲建立視覺藝術風格與概念藝術，並將其實作於 Unity 中。
加速 PyTorch Transformers 使用 Intel Sapphire Rapids – 第 1 部分
Hugging Face 示範如何在 Intel Sapphire Rapids CPU 叢集上使用 IPEX 與 oneCCL 訓練 PyTorch Transformers，達到相較於 Ice Lake 高達 8 倍的加速，且在四節點上接近線性擴展。
OpenAI 創建次世代角色公告
由於 404 錯誤，提供的關於創建次世代角色的公告來源資料不可用，未提供任何技術細節或官方聲明。
OFASys：多模態多任務學習框架
Qwen 推出 OFASys，一個 AI 框架，透過單行 Instruction 介面讓使用者定義複雜的任務與多模態，從而簡化多模態多任務學習。
Chinese CLIP：中文對比視覺語言預訓練
Qwen 已發布 Chinese CLIP，一個旨在克服以英語為中心的 CLIP 模型在跨模態檢索與圖像分類上文化與語言限制的視覺語言模型。
OpenAI 應用 AI 研究：對 AGI、安全性與持續學習的觀點
OpenAI 應用 AI 研究團隊的 Lilian Weng 討論了通往 AGI 的道路、模型對齊與安全性的重要性，以及持續學習在 AI 發展中的角色。
使用 CLIPSeg 進行零樣本影像分割
Hugging Face 推出 CLIPSeg，一種零樣本影像分割模型，利用 CLIP 嵌入從文字或影像提示生成分割遮罩，無需針對特定類別進行訓練。
Hugging Face 模型卡文件框架
Hugging Face 已發布一套工具與資源，包括基於 GUI 的創建工具與標準化範本，以提升機器學習模型文件的可及性與標準化。
Anthropic 研究：透過模型撰寫的評估來發現語言模型行為
Anthropic 研究人員開發了一種使用語言模型自動生成高品質評估的方法，以發現新穎的行為，包括較大模型中的逆向縮放和諂媚行為。
OpenAI Point-E：從文字提示生成 3D 點雲
OpenAI 推出 Point-E，一個能在單顆 GPU 上於 1-2 分鐘內從複雜文字提示生成 3D 點雲的系統，優先考慮抽樣速度而非絕對樣本品質。
OpenAI text-embedding-ada-002 發布
OpenAI 宣佈了 text-embedding-ada-002 模型，這是一個統一的、更快、更便宜的嵌入模型，在大多數任務上優於先前的模型。
Hugging Face 音訊資料集指南 – 如何載入、處理與串流音訊資料
Hugging Face 宣布了一份完整指南，展示 🤗 Datasets 套件僅需幾行 Python 程式碼即可載入、前處理與串流 Hub 上的任何音訊資料集，讓語音與音訊任務的研究變得高效。
Hugging Face 倫理與社會通訊 #2：解決機器學習中的偏見
Hugging Face 提出一套社會技術框架，將機器學習偏見視為必須在任務定義、資料集策展與模型訓練各階段處理的風險因素，以降低歧視性傷害。
Constitutional AI: Harmlessness from AI Feedback
Anthropic 介紹了 Constitutional AI，這是一種透過使用一組規則（憲法）和 AI 反饋，而非真人標記來訓練無害 AI 助手的技術，以減少有害輸出。
Habana Gaudi2 與 Nvidia A100 80GB 性能基準
Hugging Face 基準測試顯示，Habana Gaudi2 在訓練與推論方面，對於 BERT、Stable Diffusion 與 T5-3B 模型，提供大約兩倍於 Nvidia A100 80GB 的吞吐量。
Hugging Face 宣布 Bumblebee：純 Elixir 中的 Transformers 與 Stable Diffusion
Hugging Face 發布了 Bumblebee，這是一個純 Elixir 的 Transformers 實作，將從 GPT‑2 到 Stable Diffusion 的模型帶入 Elixir 生態系，讓原生 CPU/GPU 推論無需外部依賴。
闡述人類回饋強化學習 (RLHF)
Hugging Face 解釋了人類回饋強化學習 (RLHF)，這是一個透過使用基於人類偏好的獎勵模型來優化模型，進而將大型語言模型與複雜的人類價值觀對齊的三步驟過程。
OpenAI 超級運算基礎設施與後端系統工程
OpenAI 工程師 Jake Stangel 描述了管理價值數十億美元的超級運算叢集所面臨的技術挑戰，極端規模會顯露出其他使用者未曾見過的硬體與核心問題。
深度學習與蛋白質 – Hugging Face 蛋白質語言模型與摺疊指南
Hugging Face 宣布了一系列教學，展示如何微調蛋白質語言模型並使用 ESMFold 進行蛋白質摺疊，證明 NLP 的遷移學習技術可以直接應用於蛋白質序列任務。
使用 🤗 Transformers 進行時間序列 Transformer 機率預測
Hugging Face 發布了一個用於全局機率時間序列預測的原始 Transformer 模型，在 Tourism Monthly 基準上展示了最先進的表現。
在 Apple Silicon 上使用 Stable Diffusion Core ML – 如何執行與最佳化
Hugging Face 發布了針對 Apple Silicon 轉換為 Core ML 的 Stable Diffusion 檢查點，使得在 Python 或 Swift 中可在裝置上生成圖像，最高可在 M1 Max 上以 18 秒產生一張圖像。
OpenAI 推出 ChatGPT
OpenAI 已發布 ChatGPT，這是一款基於 GPT-3.5 系列、透過人類回饋強化學習（RLHF）訓練的會話式 AI 模型，能以對話格式進行互動。
VQ-Diffusion：離散空間中的條件潛在擴散
VQ-Diffusion 是一種在量化離散潛在空間上運作的條件潛在擴散模型，提供比傳統自回歸模型更快的推論速度與更高的影像品質。
Hugging Face 2023 實習計畫
Hugging Face 宣布了 2023 年實習計畫，提供開源、科學與社會影響團隊的職位，以民主化負責任的機器學習。
Hugging Face 擴散模型課程與社群活動
Hugging Face 宣布將於 2022 年 11 月 28 日推出免費的擴散模型課程，並於 11 月 30 日舉辦線上社群活動，邀請來自 Stability AI、Meta 與 Runway 的研究人員參與。
Hugging Face 機器學習洞見總監 第 4 部分
四位機器學習總監分享了在電子商務、工程、教育與 SaaS 領域中，機器學習的影響、挑戰與整合陷阱的產業專屬見解。
Hugging Face 推理解決方案概覽 2022 年 11 月
Hugging Face 宣布了一套免費與付費的推理選項——包括小工具、API、Inference Endpoints 與 Spaces——以簡化模型測試、部署與生產規模擴展。
Hugging Face 加速文件 AI
Hugging Face 提供了一份完整指南，說明如何使用開源多模態模型自動化企業工作流程中的文件分類、解析與視覺問答。
使用同態加密的加密資料情感分析
Hugging Face 示範如何使用 Concrete-ML 套件，結合 BERT 轉換器與 XGBoost，在完全同態加密（FHE）下對加密資料執行情感分析。
Hugging Face 與 arXiv 整合機器學習示範
Hugging Face 已將 Hugging Face Spaces 與 arXivLabs 整合，直接在 arXiv 論文摘要頁面提供互動式機器學習示範。
OFA：朝向構建一個全能模型
OFA 是一個統一的多模態預訓練模型，透過指令式多任務預訓練，將跨模態的理解與生成任務整合於單一框架中。
Hugging Face 價格更新 2022 年 11 月
Hugging Face 已轉向以計算為基礎的營收模式，停止使用 Inference API 的付費層，改為使用 Inference Endpoints 與 Spaces 的硬體升級。
對比搜尋在 Transformers 中的人類水平文本生成
Hugging Face 已將對比搜尋整合至 transformers 套件，這是一種解碼方法，可防止模型退化，並在 16 種語言的即用模型中保持語義一致性。
Dreambooth Stable Diffusion 微調指南（使用 Diffusers）
Hugging Face 發布了使用 Diffusers 套件訓練 Dreambooth 的 Stable Diffusion 的詳細建議，指出低學習率、足夠的訓練步數、針對人臉的先驗保存以及文字編碼器微調可產生最高品質的結果。
衡量大型語言模型可擴展監督的進展
Anthropic 研究人員提出了一個用於實證研究可擴展監督的框架，以確保人類能夠監督那些最終可能在複雜任務上超越他們的 AI 系統。
OpenAI DALL·E API 公測公告
OpenAI 宣佈 DALL·E 圖像生成 API 現已開放公開測試，讓開發者能將最先進的圖像創作與內建審核功能整合至其應用程式中。
使用 Hugging Face Transformers 微調 Whisper 以支援多語言 ASR
Hugging Face 提供了完整的指南，說明如何微調 OpenAI 的 Whisper 模型以支援多語言自動語音辨識（ASR），在僅使用 8 小時資料的情況下，於印地語上實現了 31.5% 絕對字錯誤率（WER）的提升。
Hugging Face Optimum Intel 與 OpenVINO 整合
Hugging Face 已將 Intel OpenVINO 整合至 Optimum Intel，實現了在 Intel 硬體上對 Transformer 模型的加速推論與量化。
使用 🤗 Evaluate 評估語言模型偏見
Hugging Face 為 🤗 Evaluate 函式庫新增了偏見評估指標——toxicity、language polarity（Regard）與 HONEST，使研究人員能系統性地測量因果語言模型中的有害語言。
使用 PyTorch DDP、Accelerate 與 Transformers Trainer 的分散式訓練
Hugging Face 說明了如何使用三個抽象層級來實作分散式訓練：原生 PyTorch DDP、Accelerate 函式庫，以及高階的 Transformers Trainer API。
OpenAI 獎勵模型過度優化的縮放定律
OpenAI 發現，針對不完美的代理獎勵模型進行優化最終會削弱真實表現，且此過程遵循基於模型參數與資料集規模的可預測縮放定律。
MTEB：大規模文字嵌入基準測試
Hugging Face 推出 MTEB，一個涵蓋 56 個資料集、跨 8 項任務的大規模多語言基準，用於評估文字嵌入模型的效能。
Hugging Face 推理端點
Hugging Face 推理端點是一項受管服務，讓使用者只需點擊幾下即可將機器學習模型從 Hugging Face Hub 部署到可擴展且安全的雲端基礎設施。
Stable Diffusion JAX 與 Flax 整合
Hugging Face Diffusers 0.5.1 版引入了對 Flax 的支援，使得在 Google TPU 上透過 JAX 進行高速 Stable Diffusion 推理成為可能。
Hugging Face BLOOM 推論最佳化
Hugging Face 透過從流水線平行化轉向張量平行化並實作自訂 CUDA 核心，使 BLOOM 模型的延遲降低 5 倍、吞吐量提升 50 倍。
Hugging Face 為模型與資料集引入 DOI 支援
Hugging Face 現在允許使用者為 Hub 上的模型與資料集產生數位物件識別碼（DOI），提供跨版本持續有效的永久可引用連結。
rinna 發布的日文 Stable Diffusion
rinna 發布了日文 Stable Diffusion，這是一個針對日文進行微調的 Stable Diffusion 版本，能夠根據日文提示生成符合文化的圖像。