Stable-Baselines3 與 Hugging Face Hub 的整合
Hugging Face 已整合 Stable-Baselines3，讓使用者可以直接從 Hugging Face Hub 託管、分享與載入 PyTorch Deep Reinforcement Learning 模型。
Hugging Face Infinity CPU 效能案例研究
Hugging Face Infinity 在 Intel Ice Lake Xeon CPU 上實現了高達 800% 的吞吐量提升與毫秒級延遲，與 vanilla Transformers 相比，讓在 CPU 基礎設施上進行具成本效益的即時 Transformer 部署成為可能。
在 Hugging Face Transformers 中使用 n-grams 增強 Wav2Vec2
Hugging Face 已將 pyctcdecode 函式庫整合至 Transformers 函式庫中，使 Wav2Vec2 模型能夠透過 n-gram 語言模型進行增強，從而顯著減少拼字錯誤和字錯率 (WER)。
在 Amazon SageMaker 上使用 Hugging Face Transformers 部署 GPT-J 6B
Hugging Face 提供了一種在 Amazon SageMaker 上部署 EleutherAI 的 GPT-J 6B 模型的方法，透過使用 torch.save 將模型載入時間從超過三分鐘減少到不到八秒。
使用 AutoNLP 與 Prodigy 進行主動學習
Hugging Face 展示了如何透過結合 AutoNLP 自動化訓練框架與 Prodigy 標註工具，來建立一個用於命名實體識別 (NER) 的主動學習流水線。
Hugging Face 收購 Gradio
Hugging Face 已收購 Gradio，旨在將易於建立的機器學習演示和 GUI 整合進其生態系統，擴展機器學習對非技術用戶的可及性。
WebGPT: Improving GPT-3 Factual Accuracy via Web Browsing
OpenAI 已將 GPT-3 微調為 WebGPT，這是一個使用文字型網頁瀏覽器來研究並引用來源的原型，旨在減少開放式問題回答中的幻覺現象。
Perceiver IO: 一種適用於任何模態的可擴展、全注意力模型
Perceiver IO 是一種基於 Transformer 的架構，透過使用潛在空間將計算量與輸入大小解耦，使其能夠處理文本、圖像、音訊、影片和點雲，而不會產生二次方擴展問題。
為您的應用程式客製化 GPT-3
OpenAI 已發布 GPT-3 的微調功能，允許開發者使用專有數據來訓練模型，以提高可靠性、降低成本並改善延遲。
從零開始訓練 CodeParrot
Hugging Face 推出了 CodeParrot，這是一個基於 GPT-2 的模型，在清洗後的 2000 萬個 Python 檔案數據集上從零開始訓練，旨在實現 Python 程式碼自動補全功能。
Hugging Face Snowball Fight ML-Agents 環境
Hugging Face 已發布 Snowball Fight 1vs1，這是其首個使用 Unity ML-Agents 建構並託管於 Hugging Face Spaces 的自訂深度強化學習環境。
OpenAI Residency Program Announcement
OpenAI 推出了 OpenAI Residency，這是一個為期六個月的有薪計畫，旨在將來自其他領域的研究人員和工程師轉型為該公司的全職 AI 角色。
Hugging Face Optimum for Graphcore IPU Integration
Hugging Face 已將 Optimum 函式庫與 Graphcore Intelligence Processing Units (IPUs) 整合，以加速 Transformer 模型，並從優化的 BERT 實作開始。
Hugging Face Data Measurements Tool
Hugging Face 發佈了 Data Measurements Tool，這是一個開源的 Python 函式庫與無程式碼介面，旨在幫助開發者分析、策劃與比較 ML 資料集，以實現更負責任的 AI 開發。
使用 Intel 技術加速 PyTorch 分散式微調
Hugging Face 展示了如何透過使用 Intel extension for PyTorch 與 oneCCL，將微調工作分配到 Intel Xeon Scalable CPU 伺服器叢集，從而加速 PyTorch 訓練。
OpenAI API Access: GPT-3 Waitlist Removed
OpenAI 已移除 GPT-3 API 的候補名單，讓支援國家的開發者可以立即註冊並開始嘗試。
為低資源自動語音辨識進行 XLS-R 微調
Hugging Face 提供了一份關於如何使用 Transformers 函式庫微調 XLS-R（一種跨語言語音表示模型）以進行低資源自動語音辨識 (ASR) 的技術指南。
在現代 CPU 上擴展類 BERT 模型推理 - 第二部分
Hugging Face 探索了在 Intel Ice Lake Xeon CPU 上類 BERT 模型的軟體層級優化，展示了記憶體配置器、並行化函式庫以及貝氏優化如何能顯著降低推理延遲。
OpenAI 解決數學應用題與 GSM8K 資料集
OpenAI 開發了一套使用訓練過的驗證器來解決小學數學應用題的系統，其準確度幾乎是微調後的 GPT-3 的兩倍，在 9-12 歲兒童的 60% 準確度對比下，達到了 55% 的準確度。
Hugging Face 課程第二部分與社群活動發佈
Hugging Face 於 2021 年 11 月 15 日宣布發佈 Hugging Face 課程的第二部分，並隨之舉辦了一場包含技術演講與實作專案的社群活動。
大語言模型：新的摩爾定律？
Hugging Face 批評了模型規模呈指數級增長的趨勢（例如具有 530B 參數的 Megatron-Turing NLG），並主張採用如蒸餾 (distillation) 和微調 (fine-tuning) 等務實且高效的替代方案。
Hugging Face 使用 10 億對訓練數據開發的句子嵌入模型
Hugging Face 透過使用 JAX/Flax 和 TPU 基礎設施，在多達 10 億對句子上進行訓練，開發出最先進的通用型句子嵌入模型。
Hugging Face: 機器學習即程式碼的時代
Hugging Face 主張透過採用 MLOps、利用通用型 Transformer 架構，並優先考慮生產部署而非沙盒實驗，將機器學習視為一門軟體工程學科。
為遙感與衛星影像微調 CLIP
研究團隊利用 RSICD 數據集和其他衛星影像對 OpenAI 的 CLIP 模型進行了微調，以顯著提高遙感應用中的文本轉圖像檢索能力。
Hugging Face Spaces 和 Gradio 整合
Hugging Face 已將 Gradio 整合到 Spaces 中，讓使用者能夠透過 Inference API 或自訂模型檢查點，輕鬆託管和展示機器學習模型示範。
使用 Streamlit 在 Hugging Face Spaces 上託管模型與數據集
Hugging Face Spaces 與 Streamlit 整合，讓使用者能快速建立並託管機器學習模型與數據可視化的互動式演示。
Hugging Face Summer 2021 更新
Hugging Face 公佈了一系列 Hub 增強功能，包括用於 ML 示範託管的 Spaces Beta、TensorBoard 整合，以及推出 Optimum 函式庫以進行硬體加速。
OpenAI 使用人類回饋進行書籍摘要 (2021)
OpenAI 提出了一種結合來自人類回饋的強化學習與遞迴任務分解的技術，以生成整本書的摘要，解決了在難以評估的任務上監督人工智慧的對齊挑戰。
Hugging Face Optimum 發佈
Hugging Face 推出了 Optimum，這是一個開源工具包，旨在針對各種硬體平台優化 Transformer 模型，以提升生產效能。
Hugging Face 與 Graphcore 合作開發 IPU 優化的 Transformers
Hugging Face 與 Graphcore 已達成合作，透過 Hardware Partner Program 與 Optimum 函式庫將 Intelligence Processing Units (IPUs) 整合至 Hugging Face 生態系統中，以加速 Transformer 模型的部署。
TruthfulQA：衡量模型如何模仿人類的錯誤資訊
OpenAI 推出了 TruthfulQA，這是一個旨在衡量語言模型是否在 38 個類別中模仿常見的人類誤解和錯誤資訊的基準測試。
Helen Toner 加入 OpenAI 董事會
OpenAI 於 2021 年 9 月 8 日任命 AI 政策與全球策略專家 Helen Toner 加入其董事會，以強化其對安全且負責任的 AI 部署之承諾。
OpenAI Codex: 用於程式碼生成的 GPT-3 後代
OpenAI Codex 是一個同時訓練於自然語言和數十億行公開原始碼的 GPT-3 後代，能夠從英文指令生成可執行的程式碼。
OpenAI Triton 1.0 發佈
OpenAI 已發佈 Triton 1.0，這是一種開源且類似 Python 的語言與編譯器，讓研究人員無需深厚的 CUDA 專業知識即可編寫高效能的 GPU kernel。
Hugging Face DeDLOC: 透過網路進行語言模型的協作訓練
Hugging Face 推出了 DeDLOC，這是一種分散式訓練方法，透過適應不同的網路與硬體限制，讓志願者能夠透過網路協作預訓練大型語言模型。
spaCy 與 Hugging Face Hub 的整合
Hugging Face 已將 spaCy 整合到 Hugging Face Hub，讓使用者能透過統一平台共享、探索與部署 spaCy 管線。
輕鬆在 Amazon SageMaker 上部署 Hugging Face 模型
Hugging Face 與 Amazon SageMaker 推出了全新的推論深度學習容器（DLC）與推論工具套件，以簡化 Transformer 模型部署至可投入生產的端點。
評估在程式碼上訓練的大型語言模型：OpenAI Codex
OpenAI 推出了 Codex，這是一個在 GitHub 程式碼上進行微調的 GPT 模型，在單次嘗試中解決了 28.8% 的 HumanEval 問題，透過重複採樣最高可達 70.2%。
Sentence Transformers 集成於 Hugging Face Hub
Hugging Face 已將 Sentence Transformers 集成到 Hub 中，為 100 多種語言提供超過 90 個預訓練模型，並提供了用於特徵提取和句子相似度的新交互式小部件。
OpenAI 研究：透過精選數據集微調來改善語言模型行為
OpenAI 研究人員發現，透過在少於 100 個範例的精選小型數據集上進行微調，可以顯著改善模型對特定行為價值觀的遵循程度，且不會損害下游任務的性能。
使用 GPT-Neo 與 Hugging Face Accelerated Inference API 進行少樣本學習 (Few-Shot Learning)
Hugging Face 探討了使用開源 GPT-Neo 模型與 Accelerated Inference API 進行少樣本學習的應用，以實現無需大量標記數據的任務泛化能力。
使用與混合 Hugging Face 模型搭配 Gradio 2.0
Gradio 2.0 讓機器學習開發者能以單行程式碼將 Hugging Face 模型載入並部署為 GUI，並支援平行與串行模型組合。
OpenAI 2021 學者計畫：最終專案
OpenAI 公布了 2021 學者計畫的最終專案，展示了來自多樣化研究者群體的研究，內容涵蓋縮放定律、獎勵建模與強化學習。
Will Hurd 加入 OpenAI 董事會
OpenAI 已任命前美國國會議員 Will Hurd 加入其董事會，以將公共政策專業知識與技術 AI 開發相結合。
Scaling-up BERT Inference on CPU (Part 1)
Hugging Face 探討了現代 CPU 上 BERT 推理的硬體層級優化，證明了透過 NUMA 感知親和性將多個獨立模型實例綁定到特定實體核心，可以實現吞吐量的線性擴展。
Hugging Face Accelerate Library Release
Hugging Face 發布了 Accelerate，這是一個 PyTorch 函式庫，允許使用者在任何設備配置上執行原始訓練腳本，包括多 GPU 和 TPU，而無需重寫樣板代碼。
透過 Hugging Face 與 Amazon SageMaker 進行 BART 與 T5 的摘要生成分散式訓練
Hugging Face 與 Amazon SageMaker 已完成整合，提供優化的深度學習容器與專用的 HuggingFace estimator，以簡化 BART 與 T5 等 Transformers 模型的分散式訓練。
理解 BigBird 的區塊稀疏注意力機制
BigBird 引入了區塊稀疏注意力機制，將 Transformer 的計算複雜度從二次方降低至線性，使其能夠處理長達 4096 個 token 的序列。
GPT-3 API 生態系統與應用成長
OpenAI 表示，超過 300 個應用程式與數萬名開發者正利用 GPT-3 在不同產業中每天平均生成 45 億個單字。
Amazon SageMaker 與 Hugging Face 的合作夥伴關係
Hugging Face 與 Amazon 已建立合作夥伴關係，透過專用的 Deep Learning Containers (DLCs) 與 Python SDK 擴充功能將 Hugging Face Transformers 整合至 Amazon SageMaker，以加速 NLP 模型訓練與部署。