Hugging Face 使用 10 億對訓練數據開發的句子嵌入模型
Hugging Face 透過使用 JAX/Flax 和 TPU 基礎設施，在多達 10 億對句子上進行訓練，開發出最先進的通用型句子嵌入模型。
Hugging Face: 機器學習即程式碼的時代
Hugging Face 主張透過採用 MLOps、利用通用型 Transformer 架構，並優先考慮生產部署而非沙盒實驗，將機器學習視為一門軟體工程學科。
為遙感與衛星影像微調 CLIP
研究團隊利用 RSICD 數據集和其他衛星影像對 OpenAI 的 CLIP 模型進行了微調，以顯著提高遙感應用中的文本轉圖像檢索能力。
Hugging Face Spaces 和 Gradio 整合
Hugging Face 已將 Gradio 整合到 Spaces 中，讓使用者能夠透過 Inference API 或自訂模型檢查點，輕鬆託管和展示機器學習模型示範。
使用 Streamlit 在 Hugging Face Spaces 上託管模型與數據集
Hugging Face Spaces 與 Streamlit 整合，讓使用者能快速建立並託管機器學習模型與數據可視化的互動式演示。
Hugging Face Summer 2021 更新
Hugging Face 公佈了一系列 Hub 增強功能，包括用於 ML 示範託管的 Spaces Beta、TensorBoard 整合，以及推出 Optimum 函式庫以進行硬體加速。
OpenAI 使用人類回饋進行書籍摘要 (2021)
OpenAI 提出了一種結合來自人類回饋的強化學習與遞迴任務分解的技術，以生成整本書的摘要，解決了在難以評估的任務上監督人工智慧的對齊挑戰。
Hugging Face Optimum 發佈
Hugging Face 推出了 Optimum，這是一個開源工具包，旨在針對各種硬體平台優化 Transformer 模型，以提升生產效能。
Hugging Face 與 Graphcore 合作開發 IPU 優化的 Transformers
Hugging Face 與 Graphcore 已達成合作，透過 Hardware Partner Program 與 Optimum 函式庫將 Intelligence Processing Units (IPUs) 整合至 Hugging Face 生態系統中，以加速 Transformer 模型的部署。
TruthfulQA：衡量模型如何模仿人類的錯誤資訊
OpenAI 推出了 TruthfulQA，這是一個旨在衡量語言模型是否在 38 個類別中模仿常見的人類誤解和錯誤資訊的基準測試。
Helen Toner 加入 OpenAI 董事會
OpenAI 於 2021 年 9 月 8 日任命 AI 政策與全球策略專家 Helen Toner 加入其董事會，以強化其對安全且負責任的 AI 部署之承諾。
OpenAI Codex: 用於程式碼生成的 GPT-3 後代
OpenAI Codex 是一個同時訓練於自然語言和數十億行公開原始碼的 GPT-3 後代，能夠從英文指令生成可執行的程式碼。
OpenAI Triton 1.0 發佈
OpenAI 已發佈 Triton 1.0，這是一種開源且類似 Python 的語言與編譯器，讓研究人員無需深厚的 CUDA 專業知識即可編寫高效能的 GPU kernel。
Hugging Face DeDLOC: 透過網路進行語言模型的協作訓練
Hugging Face 推出了 DeDLOC，這是一種分散式訓練方法，透過適應不同的網路與硬體限制，讓志願者能夠透過網路協作預訓練大型語言模型。
spaCy 與 Hugging Face Hub 的整合
Hugging Face 已將 spaCy 整合到 Hugging Face Hub，讓使用者能透過統一平台共享、探索與部署 spaCy 管線。
輕鬆在 Amazon SageMaker 上部署 Hugging Face 模型
Hugging Face 與 Amazon SageMaker 推出了全新的推論深度學習容器（DLC）與推論工具套件，以簡化 Transformer 模型部署至可投入生產的端點。
評估在程式碼上訓練的大型語言模型：OpenAI Codex
OpenAI 推出了 Codex，這是一個在 GitHub 程式碼上進行微調的 GPT 模型，在單次嘗試中解決了 28.8% 的 HumanEval 問題，透過重複採樣最高可達 70.2%。
Sentence Transformers 集成於 Hugging Face Hub
Hugging Face 已將 Sentence Transformers 集成到 Hub 中，為 100 多種語言提供超過 90 個預訓練模型，並提供了用於特徵提取和句子相似度的新交互式小部件。
OpenAI 研究：透過精選數據集微調來改善語言模型行為
OpenAI 研究人員發現，透過在少於 100 個範例的精選小型數據集上進行微調，可以顯著改善模型對特定行為價值觀的遵循程度，且不會損害下游任務的性能。
使用 GPT-Neo 與 Hugging Face Accelerated Inference API 進行少樣本學習 (Few-Shot Learning)
Hugging Face 探討了使用開源 GPT-Neo 模型與 Accelerated Inference API 進行少樣本學習的應用，以實現無需大量標記數據的任務泛化能力。
使用與混合 Hugging Face 模型搭配 Gradio 2.0
Gradio 2.0 讓機器學習開發者能以單行程式碼將 Hugging Face 模型載入並部署為 GUI，並支援平行與串行模型組合。
OpenAI 2021 學者計畫：最終專案
OpenAI 公布了 2021 學者計畫的最終專案，展示了來自多樣化研究者群體的研究，內容涵蓋縮放定律、獎勵建模與強化學習。
Will Hurd 加入 OpenAI 董事會
OpenAI 已任命前美國國會議員 Will Hurd 加入其董事會，以將公共政策專業知識與技術 AI 開發相結合。
Scaling-up BERT Inference on CPU (Part 1)
Hugging Face 探討了現代 CPU 上 BERT 推理的硬體層級優化，證明了透過 NUMA 感知親和性將多個獨立模型實例綁定到特定實體核心，可以實現吞吐量的線性擴展。
Hugging Face Accelerate Library Release
Hugging Face 發布了 Accelerate，這是一個 PyTorch 函式庫，允許使用者在任何設備配置上執行原始訓練腳本，包括多 GPU 和 TPU，而無需重寫樣板代碼。
透過 Hugging Face 與 Amazon SageMaker 進行 BART 與 T5 的摘要生成分散式訓練
Hugging Face 與 Amazon SageMaker 已完成整合，提供優化的深度學習容器與專用的 HuggingFace estimator，以簡化 BART 與 T5 等 Transformers 模型的分散式訓練。
理解 BigBird 的區塊稀疏注意力機制
BigBird 引入了區塊稀疏注意力機制，將 Transformer 的計算複雜度從二次方降低至線性，使其能夠處理長達 4096 個 token 的序列。
GPT-3 API 生態系統與應用成長
OpenAI 表示，超過 300 個應用程式與數萬名開發者正利用 GPT-3 在不同產業中每天平均生成 45 億個單字。
Amazon SageMaker 與 Hugging Face 的合作夥伴關係
Hugging Face 與 Amazon 已建立合作夥伴關係，透過專用的 Deep Learning Containers (DLCs) 與 Python SDK 擴充功能將 Hugging Face Transformers 整合至 Amazon SageMaker，以加速 NLP 模型訓練與部署。
在 Google Cloud Run 上部署 Hugging Face Transformers 情感分析 Pipeline
一位社群成員展示了如何使用 DistilBERT 模型在 Google Cloud Run 上提供 Hugging Face 情感分析 pipeline 服務，實現了低於 5 秒的延遲，且每月成本極低。
使用 Hugging Face Transformers 微調 Wav2Vec2 進行英文 ASR
Hugging Face 提供了一份詳細指南，說明如何使用 Connectionist Temporal Classification (CTC) 損失來微調 Wav2Vec2 預訓練語音模型，以進行英文自動語音識別（ASR）。
Hugging Face Reads: Long-range Transformers
Hugging Face 分析了四種關鍵架構——Longformer、Compressive Transformer、Linformer 和 Performer——旨在將標準 Transformer 自注意力的二次記憶體與時間複雜度降低至線性複雜度。
CLIP 中的多模態神經元
OpenAI 在 CLIP 中發現了對同一概念（無論是以字面、象徵或概念方式呈現）產生反應的神經元，這反映了人類大腦中的多模態神經元。
Hugging Face: 建立神經網路的簡單考量因素
Hugging Face 提供了一個框架，透過優先考慮數據分析、簡單的基準測試以及嚴謹的實作檢查，而非盲目的超參數調優，來建立與除錯神經網路。
使用 Hugging Face Transformers and Ray 進行檢索增強生成
Hugging Face 已將 Ray 集成到檢索增強生成 (RAG) 模型的文檔檢索機制中，以實現檢索調用 2 倍的加速，並提高分布式細調的可擴展性。
Hugging Face PyTorch / XLA TPU 整合
Hugging Face 已將 PyTorch / XLA 整合，以讓 PyTorch 使用者能夠使用現有的 Hugging Face Trainer 介面在 Cloud TPU 上訓練與擴展 transformer 模型。
理解大型語言模型的技術能力、限制與社會影響
OpenAI 總結了一場跨領域工作坊，探討與 GPT-3 及其他大型語言模型相關的技術邊界與社會風險。
Hugging Face Transformers v4.2.0 TensorFlow 效能與服務更新
Hugging Face Transformers v4.2.0 為 TensorFlow 模型引入了顯著的計算效能增益，並透過使用 SavedModel 格式，簡化了經由 TensorFlow Serving 的部署流程。
OpenAI 將 Kubernetes 擴展至 7,500 節點
OpenAI 將單個 Kubernetes 叢集擴展至 7,500 節點，為機器學習研究提供簡單且可擴展的基礎設施，克服了網路、API 伺服器負載和監控方面的挑戰。
Hugging Face Transformers 透過 DeepSpeed 與 FairScale 整合 ZeRO
Hugging Face Transformers v4.2.0 引入了對 DeepSpeed 與 FairScale 的 ZeRO 優化實驗性支援，讓使用者能夠以更高的批次大小訓練更大的模型，並降低 GPU 記憶體需求。
Hugging Face 加速推理 API 優化
Hugging Face 通過結合高層級函式庫優化、基於 Rust 的分詞以及硬體特定編譯，在其加速推理 API 中實現了 transformer 推理 100 倍的加速。
CLIP: Connecting Text and Images
OpenAI 推出了 CLIP，這是一種透過自然語言語言監督來學習視覺概念的神經網路，以實現跨不同數據集的 zero-shot 圖像分類。
DALL·E: 從文字生成圖像
OpenAI 推出 DALL·E，這是一個具有 120 億參數的 Transformer 模型，能夠透過將圖像和文字視為單一詞元流來從文字描述生成多樣化的圖像。
OpenAI 組織更新 2020 年 12 月
OpenAI 宣布研究副總裁 Dario Amodei 離職，並任命 Mira Murati 為研究、產品與合作夥伴關係高級副總裁，以更有效地整合安全與產品開發。
利用預訓練語言模型檢查點來建構編碼器-解碼器模型 – Hugging Face 部落格摘要
Hugging Face 的部落格文章解釋了如何使用預訓練的 BERT、RoBERTa 或 GPT2 檢查點來熱啟動編碼器-解碼器模型，並展示了這種方法在降低訓練成本的同時，能達到與大型預訓練 seq2seq 模型相當的性能。
將 fairseq WMT19 翻譯系統移植至 🤗 Transformers
Hugging Face 已將 fairseq WMT19 翻譯模型（en‑ru、ru‑en、de‑en、en‑de）移植至 🤗 Transformers 庫，使用戶能夠使用標準 Transformers API 載入並運行這些高品質的翻譯器。
Hugging Face Transformers 與 Ray Tune 整合
Hugging Face Transformers 3.1 引入與 Ray Tune 的整合，使用戶能夠輕鬆實施如 Population-Based Training 和 Bayesian Optimization 等先進的超參數調優演算法。
基於 Transformer 的編碼器-解碼器模型 Hugging Face 部落格文章 2020
Hugging Face 2020 年的部落格文章說明了基於 Transformer 的編碼器-解碼器架構，詳細闡述了它如何透過編碼器與解碼器堆疊、自注意力、交叉注意力以及自回歸生成，將輸入序列映射為可變長度的輸出，並展示了如何使用 🤗Transformers 套件。
OpenAI 將 GPT-3 技術授權給 Microsoft
OpenAI 已將其 GPT-3 語言模型技術授權給 Microsoft，以整合至 Microsoft 的產品與服務中，同時為第三方開發者保留獨立的 API 存取權限。
Hugging Face pytorch_block_sparse 發佈
Hugging Face 已發佈 pytorch_block_sparse，這是一個提供 BlockSparseLinear 模組的函式庫，透過減少記憶體消耗並提高相對於標準 PyTorch 稀疏矩陣的計算效率，來建立更小且更快速的語言模型。