✷ 封存 · 11 個實驗室 · 3,061 篇 dispatch
實驗室
不用每天手動刷十幾個官方部落格。OpenAI、Anthropic、DeepMind 等實驗室的一手發布，每篇都提煉出核心內容。
Hugging Face AI Research Residency Program Announcement
Hugging Face 推出了為期 9 個月的 AI Research Residency Program，旨在幫助有志向的研究人員與 Hugging Face Science Team 合作，開發機器學習技術並發表開源研究成果。
使用自定義數據集微調 SegFormer 以進行語義分割
Hugging Face 提供了一份技術指南，介紹如何使用 Transformers 庫微調 SegFormer 模型，以進行自定義用例（如自動人行道導航）的像素級圖像分類。
使用 Hugging Face datasets 進行圖像搜尋
Hugging Face 展示了如何透過結合 `datasets` 函式庫、CLIP 嵌入與 FAISS 來構建一個圖像搜尋應用程式，以實現高效的相似度搜尋。
使用 Hugging Face Transformers 與 AWS Inferentia 加速 BERT 推論
Hugging Face 提供了一份指南，說明如何使用 AWS Inferentia 與 Neuron SDK 來加速 BERT 推論，並在 Amazon SageMaker 上實現 5-6ms 的延遲。
GPT-3 與 Codex 的編輯與插入功能
OpenAI 發布了 GPT-3 與 Codex 的新版本，使其能夠編輯現有文本並在文件的中間插入內容，超越了簡單的文本補全。
在 Hugging Face Transformers 中使用受限束搜索（Constrained Beam Search）引導文本生成
Hugging Face 將受限束搜索引入了 Transformers 函式庫，允許用戶在保持語言連貫性的同時，將特定的單詞或短語強制加入生成的文本中。
Anthropic In-context Learning and Induction Heads
Anthropic 於 2022 年 3 月 8 日發布了一篇名為「In-context Learning and Induction Heads」的研究貼文，但該頁面僅包含相關連結，沒有實質性的技術細節。
OpenAI 經濟影響研究倡議
OpenAI 已向研究人員和公司發出徵求合作意向，以研究 GPT-3、ChatGPT 和 DALL-E 2 等大型語言模型的經濟影響。
OpenAI 程式碼生成模型經濟影響研究議程
OpenAI 已提出一項研究議程，旨在研究像 Codex 這樣的程式碼生成模型如何影響生產力、就業與經濟不平等，以作為部署、系統設計與公共政策的參考。
OpenAI 語言模型安全與濫用經驗教訓
OpenAI 分享了從部署 GPT-3 和 Codex 獲得的見解，強調真實世界的濫用經常與理論風險不同，且安全研究經常提升商業價值。
BERT 101：了解來自 Transformer 的雙向編碼器表示
BERT 是由 Google AI Language 開發的雙向 Transformer 模型，透過在大規模資料集上進行無監督預訓練，於 11 項以上常見 NLP 任務上達到最先進的表現。
Anthropic 研究：大型生成式模型中的可預測性與驚喜
Anthropic 指出大型生成式模型中可預測的損失縮放與不可預測的特定能力及輸出湧現之間存在緊張關係，這為 AI 安全與政策帶來了挑戰。
使用 Hugging Face Transformers 微調 Vision Transformer (ViT) 以進行圖像分類
Hugging Face 提供了一份關於如何使用 `datasets` 和 `transformers` 庫微調 Vision Transformer (ViT) 模型以進行圖像分類的指南，並透過 `beans` 數據集演示了整個過程。
OpenAI Formal Math Olympiad Problem Solving
OpenAI 展示了其模型使用正式證明助手解決 AMC12、AIME 和 IMO 等競賽的正式數學奧林匹亞問題的能力。
使用 Python 開始進行情緒分析
Hugging Face 提供了一份關於如何使用 Python 實作情緒分析的全面指南，利用了來自 Hugging Face Hub 的預訓練模型、用於微調的 Trainer API 以及無程式碼的 AutoNLP 工具。
大型檔案的自動語音辨識（ASR）— 使用 Transformers 中的 Wav2Vec2
Hugging Face 實作了一種利用 Wav2Vec2 的 Connectionist Temporal Classification（CTC）架構的步幅技術，從而在任意長度的音訊檔案以及即時推論情境下實現高品質的自動語音辨識（ASR）。
OpenAI InstructGPT: 讓語言模型對齊以遵循指令
OpenAI 推出 InstructGPT，該系列模型透過人類回饋強化學習（RLHF）進行訓練，以更好地遵循使用者意圖、提高真實性，並相較於 GPT-3 減少毒性。
OpenAI Text and Code Embeddings 發佈
OpenAI 發佈了基於 GPT-3 後繼模型的新型嵌入模型系列，這些模型為文本和代碼提供數值表示，以改進語義搜索、聚類和代碼檢索。
Hugging Face Hub Search API 更新
Hugging Face 為 `huggingface_hub` 函式庫引入了新的程式化搜尋功能，包括 `ModelSearchArguments` 和 `ModelFilter`，以簡化使用者在不離開 IDE 的情況下尋找模型和資料集的流程。
OpenAI 透過對比式預訓練實現文本與程式碼嵌入
OpenAI 開發了一種透過在大規模無監督數據上進行對比式預訓練，來建立高品質文本與程式碼嵌入的方法，在線性探針分類與語義搜尋方面達到了最先進的結果。
Stable-Baselines3 與 Hugging Face Hub 的整合
Hugging Face 已整合 Stable-Baselines3，讓使用者可以直接從 Hugging Face Hub 託管、分享與載入 PyTorch Deep Reinforcement Learning 模型。
Hugging Face Infinity CPU 效能案例研究
Hugging Face Infinity 在 Intel Ice Lake Xeon CPU 上實現了高達 800% 的吞吐量提升與毫秒級延遲，與 vanilla Transformers 相比，讓在 CPU 基礎設施上進行具成本效益的即時 Transformer 部署成為可能。
在 Hugging Face Transformers 中使用 n-grams 增強 Wav2Vec2
Hugging Face 已將 pyctcdecode 函式庫整合至 Transformers 函式庫中，使 Wav2Vec2 模型能夠透過 n-gram 語言模型進行增強，從而顯著減少拼字錯誤和字錯率 (WER)。
在 Amazon SageMaker 上使用 Hugging Face Transformers 部署 GPT-J 6B
Hugging Face 提供了一種在 Amazon SageMaker 上部署 EleutherAI 的 GPT-J 6B 模型的方法，透過使用 torch.save 將模型載入時間從超過三分鐘減少到不到八秒。
使用 AutoNLP 與 Prodigy 進行主動學習
Hugging Face 展示了如何透過結合 AutoNLP 自動化訓練框架與 Prodigy 標註工具，來建立一個用於命名實體識別 (NER) 的主動學習流水線。
Anthropic 公佈 Transformer 電路數學框架
Anthropic 發布了一份關於 Transformer 電路新數學框架的簡短公告，強調了其深化理解模型行為的潛力，但在貼文中並未提供任何技術細節。
Hugging Face 收購 Gradio
Hugging Face 已收購 Gradio，旨在將易於建立的機器學習演示和 GUI 整合進其生態系統，擴展機器學習對非技術用戶的可及性。
WebGPT: Improving GPT-3 Factual Accuracy via Web Browsing
OpenAI 已將 GPT-3 微調為 WebGPT，這是一個使用文字型網頁瀏覽器來研究並引用來源的原型，旨在減少開放式問題回答中的幻覺現象。
Perceiver IO: 一種適用於任何模態的可擴展、全注意力模型
Perceiver IO 是一種基於 Transformer 的架構，透過使用潛在空間將計算量與輸入大小解耦，使其能夠處理文本、圖像、音訊、影片和點雲，而不會產生二次方擴展問題。
為您的應用程式客製化 GPT-3
OpenAI 已發布 GPT-3 的微調功能，允許開發者使用專有數據來訓練模型，以提高可靠性、降低成本並改善延遲。
從零開始訓練 CodeParrot
Hugging Face 推出了 CodeParrot，這是一個基於 GPT-2 的模型，在清洗後的 2000 萬個 Python 檔案數據集上從零開始訓練，旨在實現 Python 程式碼自動補全功能。
Hugging Face Snowball Fight ML-Agents 環境
Hugging Face 已發布 Snowball Fight 1vs1，這是其首個使用 Unity ML-Agents 建構並託管於 Hugging Face Spaces 的自訂深度強化學習環境。
Anthropic 研究：將通用語言助手作為對齊實驗室
Anthropic 探索了創建一個提供幫助、誠實且無害的通用語言助手的方法，發現排序偏好建模比模仿學習或二元判別更有效地擴展。
OpenAI Residency Program Announcement
OpenAI 推出了 OpenAI Residency，這是一個為期六個月的有薪計畫，旨在將來自其他領域的研究人員和工程師轉型為該公司的全職 AI 角色。
Hugging Face Optimum for Graphcore IPU Integration
Hugging Face 已將 Optimum 函式庫與 Graphcore Intelligence Processing Units (IPUs) 整合，以加速 Transformer 模型，並從優化的 BERT 實作開始。
Hugging Face Data Measurements Tool
Hugging Face 發佈了 Data Measurements Tool，這是一個開源的 Python 函式庫與無程式碼介面，旨在幫助開發者分析、策劃與比較 ML 資料集，以實現更負責任的 AI 開發。
使用 Intel 技術加速 PyTorch 分散式微調
Hugging Face 展示了如何透過使用 Intel extension for PyTorch 與 oneCCL，將微調工作分配到 Intel Xeon Scalable CPU 伺服器叢集，從而加速 PyTorch 訓練。
OpenAI API Access: GPT-3 Waitlist Removed
OpenAI 已移除 GPT-3 API 的候補名單，讓支援國家的開發者可以立即註冊並開始嘗試。
為低資源自動語音辨識進行 XLS-R 微調
Hugging Face 提供了一份關於如何使用 Transformers 函式庫微調 XLS-R（一種跨語言語音表示模型）以進行低資源自動語音辨識 (ASR) 的技術指南。
在現代 CPU 上擴展類 BERT 模型推理 - 第二部分
Hugging Face 探索了在 Intel Ice Lake Xeon CPU 上類 BERT 模型的軟體層級優化，展示了記憶體配置器、並行化函式庫以及貝氏優化如何能顯著降低推理延遲。
OpenAI 解決數學應用題與 GSM8K 資料集
OpenAI 開發了一套使用訓練過的驗證器來解決小學數學應用題的系統，其準確度幾乎是微調後的 GPT-3 的兩倍，在 9-12 歲兒童的 60% 準確度對比下，達到了 55% 的準確度。
Hugging Face 課程第二部分與社群活動發佈
Hugging Face 於 2021 年 11 月 15 日宣布發佈 Hugging Face 課程的第二部分，並隨之舉辦了一場包含技術演講與實作專案的社群活動。
大語言模型：新的摩爾定律？
Hugging Face 批評了模型規模呈指數級增長的趨勢（例如具有 530B 參數的 Megatron-Turing NLG），並主張採用如蒸餾 (distillation) 和微調 (fine-tuning) 等務實且高效的替代方案。
Hugging Face 使用 10 億對訓練數據開發的句子嵌入模型
Hugging Face 透過使用 JAX/Flax 和 TPU 基礎設施，在多達 10 億對句子上進行訓練，開發出最先進的通用型句子嵌入模型。
Hugging Face: 機器學習即程式碼的時代
Hugging Face 主張透過採用 MLOps、利用通用型 Transformer 架構，並優先考慮生產部署而非沙盒實驗，將機器學習視為一門軟體工程學科。
為遙感與衛星影像微調 CLIP
研究團隊利用 RSICD 數據集和其他衛星影像對 OpenAI 的 CLIP 模型進行了微調，以顯著提高遙感應用中的文本轉圖像檢索能力。
Hugging Face Spaces 和 Gradio 整合
Hugging Face 已將 Gradio 整合到 Spaces 中，讓使用者能夠透過 Inference API 或自訂模型檢查點，輕鬆託管和展示機器學習模型示範。
使用 Streamlit 在 Hugging Face Spaces 上託管模型與數據集
Hugging Face Spaces 與 Streamlit 整合，讓使用者能快速建立並託管機器學習模型與數據可視化的互動式演示。
Hugging Face Summer 2021 更新
Hugging Face 公佈了一系列 Hub 增強功能，包括用於 ML 示範託管的 Spaces Beta、TensorBoard 整合，以及推出 Optimum 函式庫以進行硬體加速。
OpenAI 使用人類回饋進行書籍摘要 (2021)
OpenAI 提出了一種結合來自人類回饋的強化學習與遞迴任務分解的技術，以生成整本書的摘要，解決了在難以評估的任務上監督人工智慧的對齊挑戰。