✷ 封存 · 11 個實驗室 · 3,061 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Hugging Face Hub 改進的 Jupyter Notebook 支援
Hugging Face 為託管於 Hub 的 Jupyter Notebook 引入了可供人類閱讀的渲染，提升了機器學習實踐者的可重現性與可取得性。
GPT 即 GPT：大型語言模型對勞動市場的影響
OpenAI 研究顯示，大約 80% 的美國勞動力可能有至少 10% 的工作任務受到大型語言模型的影響，將其定位為通用技術。
Anthropic 揭示 Transformer 殘差流中的特權基底
Anthropic 發現 Transformer 的殘差流維度並非任意的，而是與特權基底對齊，這很可能是由於 Adam 的逐維度歸一化器所致，這挑戰了先前的理論假設。
OpenAI GPT-4 公告與功能概述
OpenAI 宣佈了 GPT-4，一個大型多模態模型，在許多專業基準上達到人類水平的表現，且現在可透過 ChatGPT、API 等候名單以及開源評估工具取得。
OpenAI 宣布 GPT‑4 驅動的虛擬志工服務於 Be My Eyes
OpenAI 將 GPT‑4 的視覺輸入整合到 Be My Eyes 應用程式中，打造了一位能描述、分析並與圖像對話的虛擬志工，顯著提升盲人與弱視使用者的視覺可及性。
Stripe GPT-4 整合案例研究
Stripe 在其平台上整合了 GPT-4，以自動化業務摘要、透過文件分析提升開發者支援，並改善社群論壇的詐騙偵測。
Duolingo 整合 GPT-4 以提升進階語言學習
Duolingo 推出 Duolingo Max，這是一個全新訂閱等級，具備 GPT-4 驅動的角色扮演與「解釋我的答案」功能，提供沉浸式對話練習與情境語法回饋。
可汗學院整合 GPT-4 以驅動 Khanmigo AI 助手
可汗學院正在試行 Khanmigo，一個由 GPT-4 驅動的 AI 輔導員與教師助理，以提供個別化學習與教學支援。
OpenAI 與冰島政府合作保護冰島語言
OpenAI 已與冰島政府及私營產業合作，利用 GPT-4 與強化學習自人類回饋（RLHF）來保護冰島語在數位時代的存續。
介紹 Claude
Anthropic 推出了 Claude，這是一款設計為有幫助、誠實且無害的次世代 AI 助手，提供高性能版本和快速、輕量級版本。
OpenAI GPT-4 發佈
OpenAI 已發佈 GPT-4，這是一個大型語言模型，與 GPT-3.5 相比，展現出進階推理、更高的問題解決準確度，以及改進的安全性和事實可靠性。
使用 Informer 的多變量概率時間序列預測
Hugging Face 已將 Informer 模型整合至 Transformers 套件，實現高效的多變量概率時間序列預測，並降低計算與記憶體複雜度。
在 24GB 消費者 GPU 上使用 RLHF 微調 20B 大型語言模型
Hugging Face 發佈了 TRL 與 PEFT 的整合，使得能在單一 24 GB GPU 上使用 8 位元量化與低秩適配器對 200 億參數的語言模型進行強化學習微調。
Anthropic 對 AI 安全性的核心觀點
Anthropic 概述了一種實證驅動、基於組合式方法的 AI 安全性方法，以減輕與變革性 AI 系統快速擴展相關的災難性風險。
Kakao Brain ViT 與 ALIGN 模型發布，搭配 COYO 700M 資料集
Kakao Brain 與 Hugging Face 發布了開源的 ViT 與 ALIGN 視覺語言模型，這些模型是以全新 700 M 圖文 COYO 資料集訓練的，提供了首個公開可用的 ALIGN 模型以及具備可重現訓練資料的 ViT 模型。
Diffusers 中的 ControlNet
Hugging Face 已將 ControlNet 整合至 Diffusers 函式庫，讓使用者能透過 Canny 邊緣、深度圖與人體姿勢等條件，對 Stable Diffusion 圖像生成進行精確的空間控制。
使用機器學習進行災害應變：afetharita 專案
Hugging Face 描述了志工如何利用 Hugging Face 生態系統快速部署 OCR、NER 與遙感的機器學習模型，以協助 2023 年 2 月土耳其地震的倖存者。
Hugging Face Diffusers 倫理指導原則
Hugging Face 為 Diffusers 函式庫推出了倫理框架，以指導技術決策與社群貢獻，同時減輕擴散模型可能帶來的社會風險。
Hugging Face 專家加速計畫：Witty Works 案例研究
Witty Works 利用 Hugging Face 專家加速計畫與 SetFit，構建了一個具備高準確度且僅需最少標記資料的情境依賴包容性語言分類器。
OpenAI 對 AGI 及未來的規劃
OpenAI 概述了一項逐步部署 AI 系統的策略，以讓社會得以適應，並強調需要加強對齊研究、全球治理，以及對生存風險採取謹慎的態度。
Swift Diffusers for Mac 1.1 發布
Hugging Face 已發布 Diffusers for Mac 1.1 版，這是一款利用 Core ML 加速 Apple Silicon 上 Stable Diffusion 的原生開源應用，於特定硬體配置下可提供最高 2 倍的生成速度提升。
大型語言模型的紅隊測試
Hugging Face 概述了紅隊測試在識別 LLM 弱點以防止有害輸出方面的關鍵角色，強調需要協作且具適應性的評估方法。
Fetch AI 基礎設施遷移：與 Hugging Face 及 AWS 整合工具
Fetch 透過從第三方 AI「黑盒」遷移至由 Hugging Face 與 AWS 支持的內部機器學習管線，將開發時間縮短 30%，處理延遲降低 50%。
Hugging Face 與 AWS 的 AI 可及性戰略合作夥伴關係
Hugging Face 與 AWS 擴大了戰略合作，透過將 Hugging Face 模型與 AWS 基礎設施及專用機器學習加速器整合，讓生成式 AI 更加民主化。
OpenAI AI 系統行為與治理框架
OpenAI 概述了兩步驟的訓練流程以塑造 ChatGPT 的行為，並提出三大支柱策略，以改進預設行為、啟用使用者自訂，並將公共意見納入 AI 治理。
Hugging Face 推理端點案例研究
Hugging Face 正在將其基於 CPU 的機器學習模型從 AWS ECS/Fargate 遷移至 Hugging Face 推理端點，以降低運營複雜度並提升延遲表現。
BLIP-2：零樣本影像到文字生成
BLIP-2 是 Salesforce Research 開發的視覺語言模型，使用查詢變換器（Q-Former）在凍結的影像編碼器與凍結的大型語言模型之間搭橋，以實現高效的零樣本影像到文字生成。
Anthropic 研究：大型語言模型（LLMs）的道德自我修正能力
Anthropic 研究證明，透過 RLHF 訓練的大型語言模型（LLMs）在受到指示時可以進行道德自我修正以避免有害輸出，這種能力在 22B 參數規模下開始出現。
🤗 PEFT 函式庫發布，實現千億規模模型的參數高效微調
Hugging Face 宣布了 🤗 PEFT 函式庫，讓使用者僅訓練極少量參數，即可在低資源硬體上微調千億參數模型。
SpeechT5：統一模態編碼器-解碼器於語音處理
Hugging Face 已整合 SpeechT5，這是一個統一的基於 Transformer 的模型，能透過共享的編碼器-解碼器骨幹執行文字轉語音、語音轉語音與語音轉文字任務。
Hugging Face AI vs. AI：多代理強化學習競賽系統
Hugging Face 推出 AI vs. AI，一個透過持續的多代理競賽並使用 ELO 評分系統來排名深度強化學習模型的開源系統。
Hugging Face AI 用於遊戲開發：生成故事
Hugging Face 概述了一套使用大型語言模型（LLM）如 ChatGPT 生成遊戲故事與內容的工作流程，同時強調了在原創性、法律風險與長期連貫性方面的關鍵限制。
使用 Intel Sapphire Rapids 加速 PyTorch Transformers
Hugging Face 示範，將 Intel Sapphire Rapids CPU 與 Optimum Intel 函式庫結合，可將 PyTorch 變換器推論速度提升至前代 Xeon 最高 3 倍。
深入探討視覺語言模型
Hugging Face 提供了視覺語言模型的技術概述，詳細說明了五種主要的預訓練策略以及它們在 Transformers 庫中對 VQA 與影像分割等任務的整合。
Anthropic 與 Google Cloud 合作建構 AI 基礎設施
Anthropic 已選擇 Google Cloud 作為其雲端供應商，以利用 GPU 與 TPU 集群來訓練、擴展及部署其 AI 系統，包括 Claude 助手。
ChatGPT Plus 推出
OpenAI 宣佈推出 ChatGPT Plus，這是一項每月 20 美元的訂閱服務，保證在高峰時段仍可使用、更快的回應速度，以及優先獲得功能更新，並將其可用性擴展至全球。
OpenAI AI 文本分類器發布（2023 年 1 月）
OpenAI 於 2023 年 1 月發布了公共 AI 文本分類器，能標記可能由 AI 生成的英文文本，但其可靠性不足——僅能識別 26% 的 AI 文本，且誤標 9% 的人工文本。
Hugging Face 的電腦視覺現況
Hugging Face 已擴展其生態系統，支援 8 個核心電腦視覺任務、超過 3,000 個模型以及 100 多個資料集，整合了 Transformer 與卷積架構。
Hugging Face 2D 資產生成於遊戲開發
Hugging Face 示範了如何將 Stable Diffusion 的 Image2Image 功能整合到協作式 2D 遊戲資產工作流程中，以高效地製作可投入生產的圖示。
使用 LoRA 進行高效的 Stable Diffusion 微調
Hugging Face 已將低秩適應（LoRA）整合到 diffusers 套件中，使 Stable Diffusion 的微調更快，所需 VRAM 大幅降低，模型權重僅約 3 MB。
Hugging Face Optimum 與 ONNX Runtime 訓練整合
Hugging Face 與 Microsoft 已將 ONNX Runtime 整合至 Optimum 函式庫，以將 transformer 模型的訓練時間縮短 35% 以上。
什麼讓對話代理有用？技術分析
Hugging Face 分析了關鍵技術——包括指令微調（IFT）、監督式微調（SFT）、來自人類回饋的強化學習（RLHF）以及思考鏈（CoT）——這些技術將基礎語言模型轉變為有用的對話代理。
OpenAI 與 Microsoft 擴大戰略夥伴關係
OpenAI 與 Microsoft 已延長其多年、數十億美元的合作夥伴關係，以加速獨立的 AI 研究並透過 Azure 擴大 AI 模型的部署。
Hugging Face AI 用於遊戲開發：3D 資產生成
Hugging Face 探討了文字轉 3D AI 的現狀，結論是儘管有 DreamFusion 與 Point-E 等工具，但它們尚未能實際應用於快速的遊戲開發工作流程。
Mask2Former 與 OneFormer：🤗 Transformers 中的通用影像分割模型
Hugging Face 在 Transformers 函式庫中發布了 Mask2Former 與 OneFormer，提供可同時處理實例、語意與全景分割的通用架構，只需單一模型即可完成。
PaddlePaddle 與 Hugging Face Hub 整合
Hugging Face 與 PaddlePaddle 合作，將其深度學習平台與函式庫（自 PaddleNLP 起）整合至 Hugging Face Hub，以提升可存取性與共享性。
使用 Hugging Face Datasets 與 Transformers 的影像相似度
Hugging Face 示範了如何使用 Transformers 與 Datasets 套件建立影像相似度系統，透過計算密集向量嵌入並測量餘弦相似度。
預測語言模型在錯資訊活動中的濫用
OpenAI、喬治城大學與斯坦福網路觀測站發布了一份報告，分析大型語言模型如何降低錯資訊活動的成本並擴大規模，並提出四階段的緩解框架。
AI 用於遊戲開發：使用大型語言模型進行遊戲設計
Hugging Face 示範了如何將大型語言模型（如 ChatGPT）用作遊戲設計的頭腦風暴與加速工具，特別是在定義農場遊戲的核心功能時。
Anthropic 研究：疊加、記憶與雙重下降
Anthropic 研究人員調查了簡單神經網路中疊加、記憶與過擬合之間的關係，並指出疊加允許模型在記憶過程中儲存比其神經元數量更多的特徵。