CLIP: Connecting Text and Images
OpenAI 推出了 CLIP，這是一種透過自然語言語言監督來學習視覺概念的神經網路，以實現跨不同數據集的 zero-shot 圖像分類。
DALL·E: 從文字生成圖像
OpenAI 推出 DALL·E，這是一個具有 120 億參數的 Transformer 模型，能夠透過將圖像和文字視為單一詞元流來從文字描述生成多樣化的圖像。
OpenAI 組織更新 2020 年 12 月
OpenAI 宣布研究副總裁 Dario Amodei 離職，並任命 Mira Murati 為研究、產品與合作夥伴關係高級副總裁，以更有效地整合安全與產品開發。
利用預訓練語言模型檢查點來建構編碼器-解碼器模型 – Hugging Face 部落格摘要
Hugging Face 的部落格文章解釋了如何使用預訓練的 BERT、RoBERTa 或 GPT2 檢查點來熱啟動編碼器-解碼器模型，並展示了這種方法在降低訓練成本的同時，能達到與大型預訓練 seq2seq 模型相當的性能。
將 fairseq WMT19 翻譯系統移植至 🤗 Transformers
Hugging Face 已將 fairseq WMT19 翻譯模型（en‑ru、ru‑en、de‑en、en‑de）移植至 🤗 Transformers 庫，使用戶能夠使用標準 Transformers API 載入並運行這些高品質的翻譯器。
Hugging Face Transformers 與 Ray Tune 整合
Hugging Face Transformers 3.1 引入與 Ray Tune 的整合，使用戶能夠輕鬆實施如 Population-Based Training 和 Bayesian Optimization 等先進的超參數調優演算法。
基於 Transformer 的編碼器-解碼器模型 Hugging Face 部落格文章 2020
Hugging Face 2020 年的部落格文章說明了基於 Transformer 的編碼器-解碼器架構，詳細闡述了它如何透過編碼器與解碼器堆疊、自注意力、交叉注意力以及自回歸生成，將輸入序列映射為可變長度的輸出，並展示了如何使用 🤗Transformers 套件。
OpenAI 將 GPT-3 技術授權給 Microsoft
OpenAI 已將其 GPT-3 語言模型技術授權給 Microsoft，以整合至 Microsoft 的產品與服務中，同時為第三方開發者保留獨立的 API 存取權限。
Hugging Face pytorch_block_sparse 發佈
Hugging Face 已發佈 pytorch_block_sparse，這是一個提供 BlockSparseLinear 模組的函式庫，透過減少記憶體消耗並提高相對於標準 PyTorch 稀疏矩陣的計算效率，來建立更小且更快速的語言模型。
用於自動定理證明的生成式語言建模
OpenAI 推出了 GPT-f，這是一個基於 transformer 的語言模型，專為 Metamath 形式化語言設計，並成功地為 Metamath 主函式庫貢獻了新的證明。
學習透過人類回饋進行摘要生成
OpenAI 證明了人類回饋強化學習 (RLHF) 允許較小的語言模型在文本摘要生成任務中，表現顯著優於僅透過監督式學習訓練的更大模型。
OpenAI Scholars 2020 Final Projects
OpenAI 公布了 2020 年學者計畫的最終專案，展示了神經網路解釋性、強化學習、語義解析和醫療 AI 的研究成果。
Reformer: 使用記憶體高效的 Transformer 推展語言建模的極限
Reformer 模型由 Hugging Face 在 2020 年 7 月推出，透過結合 LSH 自注意力、局部自注意力、分塊前饋層、可逆殘差和軸向位置編碼，使得在少於 8 GB RAM 的情況下可訓練長度達到五十萬個 token 的序列。
OpenAI Procgen 與 MineRL 競賽
OpenAI 與 AIcrowd、卡內基美隆大學以及 DeepMind 合作，利用 Procgen Benchmark 和 MineRL 舉辦兩項 NeurIPS 2020 競賽，旨在推進強化學習的樣本效率與泛化能力。
圖像 GPT
OpenAI 的 Image GPT (iGPT) 證明，一個在像素序列上訓練的 Transformer 模型能夠生成連貫的圖像，並學習到與領域特定架構先驗無關的具競爭力的無監督視覺特徵。
OpenAI API 發布
OpenAI 已發布一個通用的 文字輸入、文字輸出 API，提供對 GPT-3 系列模型的存取，以實現多樣化的 AI 驅動應用程式的開發。
OpenAI GPT-3: 語言模型作為少樣本學習者
OpenAI 推出了 GPT-3，這是一個具有 1750億 個參數的自回歸語言模型，該模型在各種 NLP 任務上展現出強大的少樣本性能，且無需進行任務特定的微調。
OpenAI AI 與效率分析
OpenAI 的分析顯示，自 2012 年以來，演算法的進步已將神經網路訓練至相同性能水平所需的計算量，每 16 個月減少了一半。
OpenAI Jukebox
OpenAI Jukebox 是一個能夠生成原始音訊音樂的神經網路，可以根據流派、藝術家和歌詞來生成，包括初步的歌唱。
OpenAI: 提升 AI 開發中的可驗證性
OpenAI 與多機構聯盟提出十種機制，以協助利益相關者驗證 AI 系統是否遵守所宣稱的倫理原則與安全標準，以防止競爭性的削角行為。
OpenAI Microscope: 神經網路可解釋性的工具
OpenAI Microscope 是一款視覺化工具，它系統性地視覺化數個常用視覺模型中的每個神經元，以加速對神經網路逆向工程的研究。
Hugging Face 文本生成解碼方法指南
Hugging Face 提供關於自回歸解碼策略的全面概述，包括 Greedy Search、Beam Search 以及採樣（Top-K 與 Top-p），以優化 Transformers 中的開放式語言生成。
使用 Transformers 和 Tokenizers 從頭開始訓練語言模型
Hugging Face 提供了一份關於使用 Transformers 和 Tokenizers 函式庫從頭開始訓練新語言模型的全面指南與演示，其特色是為世界語（Esperanto）建立 EsperBERTo 模型。
OpenAI 標準化使用 PyTorch
OpenAI 已將其深度學習框架標準化為 PyTorch，以提升研究生產力並減少生成式建模的迭代時間。
OpenAI 類神經語言模型縮放法則
OpenAI 研究人員發現，語言模型性能與模型規模、數據集大小和計算量之間遵循可預測的冪律關係，從而能夠實現訓練資源的最佳分配。
OpenAI Five: Dota 2 Reinforcement Learning
OpenAI Five 是第一個在電競遊戲中擊敗世界冠軍的 AI 系統，證明了大規模自我對弈強化學習可以在複雜且連續的狀態-動作空間中達到超人類的性能。
OpenAI Deep Double Descent
OpenAI 研究人員證明了 CNNs、ResNets 和 transformers 展現出雙重下降現象，即隨著模型大小、數據大小或訓練時間的增加，性能會先提升、惡化，然後再次提升。
OpenAI Procgen Benchmark 發佈
OpenAI 已發佈 Procgen Benchmark，這是一套包含 16 個程序化生成環境的套件，旨在衡量強化學習代理在未見過的關卡中泛化技能的能力。
OpenAI 在深度強化學習中進行安全探索基準測試
OpenAI 推出了 Safety Gym 基準測試套件，將受限強化學習標準化為安全探索在高維度連續控制環境中的主要形式化方法。
OpenAI Safety Gym 發佈
OpenAI 已發佈 Safety Gym，這是一套旨在衡量並改善強化學習代理在訓練期間遵守安全約束能力的環境與工具。
GPT-2 1.5B 發佈說明
OpenAI 已發佈具有 15 億個參數的最大版本 GPT-2，完成了其分階段發佈流程，為負責任的 AI 發佈提供了一個案例研究。
OpenAI 使用機器人手解決魔術方塊
OpenAI 訓練了一對神經網路，利用類人機器人手解決魔術方塊，並使用了一種稱為 Automatic Domain Randomization (ADR) 的新技術，將模擬中學習到的技能轉移到物理世界。
OpenAI Scholars 2020 計畫申請
OpenAI 已開放其第三屆 OpenAI Scholars 的申請，這是一項為期四個月的計畫，為來自代表性不足群體的八位成員提供津貼與導師指導，以進行深度學習研究。
從人類偏好進行 GPT-2 微調
OpenAI 使用人類回饋對 774M 參數的 GPT-2 模型進行了微調，以改進風格化文本續寫和摘要任務，並發現人類標註員通常偏好準確的複製而非新穎的綜合。
OpenAI 從多智能體互動中展現出的工具使用能力
OpenAI 研究人員發現，透過多智能體協同適應與自我博弈，玩模擬躲貓貓遊戲的智能體開發出了六個不同層級的複雜工具使用能力與策略。
OpenAI 測試針對未知對手的魯棒性
OpenAI 推出了一項新指標，稱為「未知攻擊魯棒性」（Unforeseen Attack Robustness, UAR），用以評估神經網路分類器在面對訓練期間未曾遇到的對抗性攻擊時的防禦表現如何。
GPT-2 六個月後續追蹤
OpenAI 發布了 774M 參數的 GPT-2 模型，並分享了關於合成文本風險、檢測難度以及大型語言模型分階段發布策略必要性的教訓。
OpenAI Learning Day: 培養跨功能專長
OpenAI 實施 Learning Day，即每週週四專門的自學日，旨在促進跨功能技術成長並防止專業停滯。
Microsoft 與 OpenAI 合作開發 AGI
Microsoft 向 OpenAI 投資 10 億美元，以在 Azure 上共同開發一個旨在擴展至創造益於人類的人工通用智能 (AGI) 的硬體與軟體平台。
OpenAI AI 安全合作框架
OpenAI 提出了四項策略，透過在整個產業中推動安全規範與標準的合作，來防止 AI 開發中的集體行動問題。
OpenAI 機器人研討會 2019
OpenAI 於 2019 年 4 月 27 日舉辦了首屆機器人研討會，匯聚機器人與機器學習領域的專家，討論開發能學習的機器人。
OpenAI Scholars 2019 Final Projects
OpenAI 發布了 2019 年 OpenAI Scholars 計畫的最終專案摘要，展示了深度學習、強化學習和 NLP 在各個領域的多樣化應用。
OpenAI Fellows Fall 2018 Final Projects
OpenAI 宣布其第二屆 OpenAI Fellows 計畫完成，所有六位參與者在為期六個月的學徒期後，已轉型為全職技術團隊成員。
OpenAI 研究：不同擾動類型之間的對抗魯棒性遷移
OpenAI 研究人員發現，對抗魯棒性在不同擾動類型之間並不會一致地遷移，這表明防禦措施必須針對多種不同的攻擊向量進行評估，才能真正發揮效用。
OpenAI MuseNet
MuseNet 是一個深度神經網路，能夠透過從數十萬個 MIDI 檔案中學習和聲、節奏和風格的模式，生成包含 10 種樂器的 4 分鐘音樂作品。
OpenAI Sparse Transformer
OpenAI 推出了 Sparse Transformer，這是一種使用重新設計的注意力機制來建模序列的深度神經網絡，透過將演算法複雜度從 O(N^2) 降低到 O(N sqrt(N))，使其能夠建模比以往 Transformers 長 30 倍的序列。
OpenAI Five 擊敗 Dota 2 世界冠軍
OpenAI Five 成為第一個在現場直播的比賽中擊敗電競世界冠軍的 AI，在對陣 Dota 2 戰隊 OG 時連續贏得兩場比賽。
OpenAI Five 決賽活動公告
OpenAI 於 2019 年 4 月 13 日宣布 OpenAI Five 的最終現場活動，以展示其 Dota 2 AI 的能力、可擴展性以及人機互動能力。
能量基模型的隱式生成與泛化方法
OpenAI 研究人員開發了用於能量基模型（EBMs）的穩定且具擴展性的訓練方法，與基於似然的模型相比，實現了高品質的圖像生成與卓越的分布外泛化能力。
OpenAI Scholars 2019 計畫參與者
OpenAI 推出了其 2019 年度的學者群，這是一個專注於強化學習、自然語言處理和生成模型的跨學科研究人員團隊。