在 Google Cloud Run 上部署 Hugging Face Transformers 情感分析 Pipeline
一位社群成員展示了如何使用 DistilBERT 模型在 Google Cloud Run 上提供 Hugging Face 情感分析 pipeline 服務，實現了低於 5 秒的延遲，且每月成本極低。
使用 Hugging Face Transformers 微調 Wav2Vec2 進行英文 ASR
Hugging Face 提供了一份詳細指南，說明如何使用 Connectionist Temporal Classification (CTC) 損失來微調 Wav2Vec2 預訓練語音模型，以進行英文自動語音識別（ASR）。
Hugging Face Reads: Long-range Transformers
Hugging Face 分析了四種關鍵架構——Longformer、Compressive Transformer、Linformer 和 Performer——旨在將標準 Transformer 自注意力的二次記憶體與時間複雜度降低至線性複雜度。
CLIP 中的多模態神經元
OpenAI 在 CLIP 中發現了對同一概念（無論是以字面、象徵或概念方式呈現）產生反應的神經元，這反映了人類大腦中的多模態神經元。
Hugging Face: 建立神經網路的簡單考量因素
Hugging Face 提供了一個框架，透過優先考慮數據分析、簡單的基準測試以及嚴謹的實作檢查，而非盲目的超參數調優，來建立與除錯神經網路。
使用 Hugging Face Transformers and Ray 進行檢索增強生成
Hugging Face 已將 Ray 集成到檢索增強生成 (RAG) 模型的文檔檢索機制中，以實現檢索調用 2 倍的加速，並提高分布式細調的可擴展性。
Hugging Face PyTorch / XLA TPU 整合
Hugging Face 已將 PyTorch / XLA 整合，以讓 PyTorch 使用者能夠使用現有的 Hugging Face Trainer 介面在 Cloud TPU 上訓練與擴展 transformer 模型。
理解大型語言模型的技術能力、限制與社會影響
OpenAI 總結了一場跨領域工作坊，探討與 GPT-3 及其他大型語言模型相關的技術邊界與社會風險。
Hugging Face Transformers v4.2.0 TensorFlow 效能與服務更新
Hugging Face Transformers v4.2.0 為 TensorFlow 模型引入了顯著的計算效能增益，並透過使用 SavedModel 格式，簡化了經由 TensorFlow Serving 的部署流程。
OpenAI 將 Kubernetes 擴展至 7,500 節點
OpenAI 將單個 Kubernetes 叢集擴展至 7,500 節點，為機器學習研究提供簡單且可擴展的基礎設施，克服了網路、API 伺服器負載和監控方面的挑戰。
Hugging Face Transformers 透過 DeepSpeed 與 FairScale 整合 ZeRO
Hugging Face Transformers v4.2.0 引入了對 DeepSpeed 與 FairScale 的 ZeRO 優化實驗性支援，讓使用者能夠以更高的批次大小訓練更大的模型，並降低 GPU 記憶體需求。
Hugging Face 加速推理 API 優化
Hugging Face 通過結合高層級函式庫優化、基於 Rust 的分詞以及硬體特定編譯，在其加速推理 API 中實現了 transformer 推理 100 倍的加速。
CLIP: Connecting Text and Images
OpenAI 推出了 CLIP，這是一種透過自然語言語言監督來學習視覺概念的神經網路，以實現跨不同數據集的 zero-shot 圖像分類。
DALL·E: 從文字生成圖像
OpenAI 推出 DALL·E，這是一個具有 120 億參數的 Transformer 模型，能夠透過將圖像和文字視為單一詞元流來從文字描述生成多樣化的圖像。
OpenAI 組織更新 2020 年 12 月
OpenAI 宣布研究副總裁 Dario Amodei 離職，並任命 Mira Murati 為研究、產品與合作夥伴關係高級副總裁，以更有效地整合安全與產品開發。
利用預訓練語言模型檢查點來建構編碼器-解碼器模型 – Hugging Face 部落格摘要
Hugging Face 的部落格文章解釋了如何使用預訓練的 BERT、RoBERTa 或 GPT2 檢查點來熱啟動編碼器-解碼器模型，並展示了這種方法在降低訓練成本的同時，能達到與大型預訓練 seq2seq 模型相當的性能。
將 fairseq WMT19 翻譯系統移植至 🤗 Transformers
Hugging Face 已將 fairseq WMT19 翻譯模型（en‑ru、ru‑en、de‑en、en‑de）移植至 🤗 Transformers 庫，使用戶能夠使用標準 Transformers API 載入並運行這些高品質的翻譯器。
Hugging Face Transformers 與 Ray Tune 整合
Hugging Face Transformers 3.1 引入與 Ray Tune 的整合，使用戶能夠輕鬆實施如 Population-Based Training 和 Bayesian Optimization 等先進的超參數調優演算法。
基於 Transformer 的編碼器-解碼器模型 Hugging Face 部落格文章 2020
Hugging Face 2020 年的部落格文章說明了基於 Transformer 的編碼器-解碼器架構，詳細闡述了它如何透過編碼器與解碼器堆疊、自注意力、交叉注意力以及自回歸生成，將輸入序列映射為可變長度的輸出，並展示了如何使用 🤗Transformers 套件。
OpenAI 將 GPT-3 技術授權給 Microsoft
OpenAI 已將其 GPT-3 語言模型技術授權給 Microsoft，以整合至 Microsoft 的產品與服務中，同時為第三方開發者保留獨立的 API 存取權限。
Hugging Face pytorch_block_sparse 發佈
Hugging Face 已發佈 pytorch_block_sparse，這是一個提供 BlockSparseLinear 模組的函式庫，透過減少記憶體消耗並提高相對於標準 PyTorch 稀疏矩陣的計算效率，來建立更小且更快速的語言模型。
用於自動定理證明的生成式語言建模
OpenAI 推出了 GPT-f，這是一個基於 transformer 的語言模型，專為 Metamath 形式化語言設計，並成功地為 Metamath 主函式庫貢獻了新的證明。
學習透過人類回饋進行摘要生成
OpenAI 證明了人類回饋強化學習 (RLHF) 允許較小的語言模型在文本摘要生成任務中，表現顯著優於僅透過監督式學習訓練的更大模型。
OpenAI Scholars 2020 Final Projects
OpenAI 公布了 2020 年學者計畫的最終專案，展示了神經網路解釋性、強化學習、語義解析和醫療 AI 的研究成果。
Reformer: 使用記憶體高效的 Transformer 推展語言建模的極限
Reformer 模型由 Hugging Face 在 2020 年 7 月推出，透過結合 LSH 自注意力、局部自注意力、分塊前饋層、可逆殘差和軸向位置編碼，使得在少於 8 GB RAM 的情況下可訓練長度達到五十萬個 token 的序列。
OpenAI Procgen 與 MineRL 競賽
OpenAI 與 AIcrowd、卡內基美隆大學以及 DeepMind 合作，利用 Procgen Benchmark 和 MineRL 舉辦兩項 NeurIPS 2020 競賽，旨在推進強化學習的樣本效率與泛化能力。
圖像 GPT
OpenAI 的 Image GPT (iGPT) 證明，一個在像素序列上訓練的 Transformer 模型能夠生成連貫的圖像，並學習到與領域特定架構先驗無關的具競爭力的無監督視覺特徵。
OpenAI API 發布
OpenAI 已發布一個通用的 文字輸入、文字輸出 API，提供對 GPT-3 系列模型的存取，以實現多樣化的 AI 驅動應用程式的開發。
OpenAI GPT-3: 語言模型作為少樣本學習者
OpenAI 推出了 GPT-3，這是一個具有 1750億 個參數的自回歸語言模型，該模型在各種 NLP 任務上展現出強大的少樣本性能，且無需進行任務特定的微調。
OpenAI AI 與效率分析
OpenAI 的分析顯示，自 2012 年以來，演算法的進步已將神經網路訓練至相同性能水平所需的計算量，每 16 個月減少了一半。
OpenAI Jukebox
OpenAI Jukebox 是一個能夠生成原始音訊音樂的神經網路，可以根據流派、藝術家和歌詞來生成，包括初步的歌唱。
OpenAI: 提升 AI 開發中的可驗證性
OpenAI 與多機構聯盟提出十種機制，以協助利益相關者驗證 AI 系統是否遵守所宣稱的倫理原則與安全標準，以防止競爭性的削角行為。
OpenAI Microscope: 神經網路可解釋性的工具
OpenAI Microscope 是一款視覺化工具，它系統性地視覺化數個常用視覺模型中的每個神經元，以加速對神經網路逆向工程的研究。
Hugging Face 文本生成解碼方法指南
Hugging Face 提供關於自回歸解碼策略的全面概述，包括 Greedy Search、Beam Search 以及採樣（Top-K 與 Top-p），以優化 Transformers 中的開放式語言生成。
使用 Transformers 和 Tokenizers 從頭開始訓練語言模型
Hugging Face 提供了一份關於使用 Transformers 和 Tokenizers 函式庫從頭開始訓練新語言模型的全面指南與演示，其特色是為世界語（Esperanto）建立 EsperBERTo 模型。
OpenAI 標準化使用 PyTorch
OpenAI 已將其深度學習框架標準化為 PyTorch，以提升研究生產力並減少生成式建模的迭代時間。
OpenAI 類神經語言模型縮放法則
OpenAI 研究人員發現，語言模型性能與模型規模、數據集大小和計算量之間遵循可預測的冪律關係，從而能夠實現訓練資源的最佳分配。
OpenAI Five: Dota 2 Reinforcement Learning
OpenAI Five 是第一個在電競遊戲中擊敗世界冠軍的 AI 系統，證明了大規模自我對弈強化學習可以在複雜且連續的狀態-動作空間中達到超人類的性能。
OpenAI Deep Double Descent
OpenAI 研究人員證明了 CNNs、ResNets 和 transformers 展現出雙重下降現象，即隨著模型大小、數據大小或訓練時間的增加，性能會先提升、惡化，然後再次提升。
OpenAI Procgen Benchmark 發佈
OpenAI 已發佈 Procgen Benchmark，這是一套包含 16 個程序化生成環境的套件，旨在衡量強化學習代理在未見過的關卡中泛化技能的能力。
OpenAI 在深度強化學習中進行安全探索基準測試
OpenAI 推出了 Safety Gym 基準測試套件，將受限強化學習標準化為安全探索在高維度連續控制環境中的主要形式化方法。
OpenAI Safety Gym 發佈
OpenAI 已發佈 Safety Gym，這是一套旨在衡量並改善強化學習代理在訓練期間遵守安全約束能力的環境與工具。
GPT-2 1.5B 發佈說明
OpenAI 已發佈具有 15 億個參數的最大版本 GPT-2，完成了其分階段發佈流程，為負責任的 AI 發佈提供了一個案例研究。
OpenAI 使用機器人手解決魔術方塊
OpenAI 訓練了一對神經網路，利用類人機器人手解決魔術方塊，並使用了一種稱為 Automatic Domain Randomization (ADR) 的新技術，將模擬中學習到的技能轉移到物理世界。
OpenAI Scholars 2020 計畫申請
OpenAI 已開放其第三屆 OpenAI Scholars 的申請，這是一項為期四個月的計畫，為來自代表性不足群體的八位成員提供津貼與導師指導，以進行深度學習研究。
從人類偏好進行 GPT-2 微調
OpenAI 使用人類回饋對 774M 參數的 GPT-2 模型進行了微調，以改進風格化文本續寫和摘要任務，並發現人類標註員通常偏好準確的複製而非新穎的綜合。
OpenAI 從多智能體互動中展現出的工具使用能力
OpenAI 研究人員發現，透過多智能體協同適應與自我博弈，玩模擬躲貓貓遊戲的智能體開發出了六個不同層級的複雜工具使用能力與策略。
OpenAI 測試針對未知對手的魯棒性
OpenAI 推出了一項新指標，稱為「未知攻擊魯棒性」（Unforeseen Attack Robustness, UAR），用以評估神經網路分類器在面對訓練期間未曾遇到的對抗性攻擊時的防禦表現如何。
GPT-2 六個月後續追蹤
OpenAI 發布了 774M 參數的 GPT-2 模型，並分享了關於合成文本風險、檢測難度以及大型語言模型分階段發布策略必要性的教訓。
OpenAI Learning Day: 培養跨功能專長
OpenAI 實施 Learning Day，即每週週四專門的自學日，旨在促進跨功能技術成長並防止專業停滯。