DALL·E 2：延伸創意
OpenAI 的 DALL·E 2 研究預覽已被超過 3,000 位藝術家在 118 個國家採用，將 AI 生成的影像整合到從醫療支援到高端烹飪藝術等多元創作工作流程中。
DALL·E 2 預訓練緩解措施
OpenAI 實施了主動學習的資料過濾、用於防止偏見放大的重新加權機制，以及基於聚類的去重流程，以消除 DALL·E 2 中的圖像重複生成問題。
OpenAI 影片預訓練（VPT）於 Minecraft
OpenAI 推出了影片預訓練（VPT），這是一種半監督式模仿學習方法，透過在大量未標記的人類遊玩影片資料集上訓練，使代理能在 Minecraft 中學習複雜行為。
OpenAI 大模型演化（ELM）研究
OpenAI 推出大模型演化（ELM），這是一種利用大型語言模型（LLM）通過模擬類似人類的程式碼變異來改進基因程式設計，從而在新領域生成可運作程式的方法。
AI 撰寫的批評有助於人類注意缺陷
OpenAI 的研究顯示，AI 生成的批評有助於人類評估者在摘要中識別出顯著更多的缺陷，暗示了一條可擴展的人類監督複雜 AI 任務的路徑。
OpenAI 大型神經網路訓練技術
OpenAI 概述了主要的平行化策略——資料平行、管線平行、張量平行與專家平行——以及用於協調 GPU 叢集以訓練大型 AI 模型的節省記憶體技術。
OpenAI、Cohere 與 AI21 Labs 部署語言模型的最佳實踐
OpenAI、Cohere 與 AI21 Labs 已發布一套聯合的初步最佳實踐，旨在負責任地開發與部署大型語言模型，以降低風險並防止濫用。
OpenAI 研究：教導模型以文字表達其不確定性
OpenAI 研究人員展示了 GPT-3 可以在不依賴模型 logits 的情況下，透過自然語言表達其答案的校準不確定性。
OpenAI Codex 應用與整合
OpenAI Codex 是一個基於 GPT-3 的自然語言轉程式系統，支援超過 70 個應用程式，包括 GitHub Copilot，透過將英文指令轉換為程式碼來提升開發者的生產力。
OpenAI DALL·E 2 研究預覽更新
OpenAI 正在以每週 1,000 名使用者的速度向等候名單上的使用者擴大 DALL·E 2 的存取，這是在產生超過 300 萬張圖像的有限研究預覽之後。
OpenAI 領導團隊更新
OpenAI 宣布了 Greg Brockman、Brad Lightcap、Mira Murati 與 Chris Clark 的執行職務變動，以使領導層與公司成長及策略里程碑保持一致。
測量 AI 對齊中的古德哈特定律
OpenAI 探討在 AI 模型中優化代理目標如何導致真實目標表現下降，這一現象稱為古德哈特定律，並提出 best-of-n 抽樣作為分析方法。
使用 CLIP 潛向的階層式文字條件圖像生成
OpenAI 推出了一個兩階段生成模型，使用先驗模型從文字產生 CLIP 圖像嵌入，並透過解碼器從這些嵌入生成圖像，提升了多樣性並實現了零樣本圖像操作。
OpenAI 解決數學應用題與 GSM8K 資料集
OpenAI 開發了一套使用訓練過的驗證器來解決小學數學應用題的系統，其準確度幾乎是微調後的 GPT-3 的兩倍，在 9-12 歲兒童的 60% 準確度對比下，達到了 55% 的準確度。
OpenAI 使用人類回饋進行書籍摘要 (2021)
OpenAI 提出了一種結合來自人類回饋的強化學習與遞迴任務分解的技術，以生成整本書的摘要，解決了在難以評估的任務上監督人工智慧的對齊挑戰。
評估在程式碼上訓練的大型語言模型：OpenAI Codex
OpenAI 推出了 Codex，這是一個在 GitHub 程式碼上進行微調的 GPT 模型，在單次嘗試中解決了 28.8% 的 HumanEval 問題，透過重複採樣最高可達 70.2%。
OpenAI 2021 學者計畫：最終專案
OpenAI 公布了 2021 學者計畫的最終專案，展示了來自多樣化研究者群體的研究，內容涵蓋縮放定律、獎勵建模與強化學習。
Will Hurd 加入 OpenAI 董事會
OpenAI 已任命前美國國會議員 Will Hurd 加入其董事會，以將公共政策專業知識與技術 AI 開發相結合。
GPT-3 API 生態系統與應用成長
OpenAI 表示，超過 300 個應用程式與數萬名開發者正利用 GPT-3 在不同產業中每天平均生成 45 億個單字。
CLIP 中的多模態神經元
OpenAI 在 CLIP 中發現了對同一概念（無論是以字面、象徵或概念方式呈現）產生反應的神經元，這反映了人類大腦中的多模態神經元。
理解大型語言模型的技術能力、限制與社會影響
OpenAI 總結了一場跨領域工作坊，探討與 GPT-3 及其他大型語言模型相關的技術邊界與社會風險。
OpenAI 將 Kubernetes 擴展至 7,500 節點
OpenAI 將單個 Kubernetes 叢集擴展至 7,500 節點，為機器學習研究提供簡單且可擴展的基礎設施，克服了網路、API 伺服器負載和監控方面的挑戰。
CLIP: Connecting Text and Images
OpenAI 推出了 CLIP，這是一種透過自然語言語言監督來學習視覺概念的神經網路，以實現跨不同數據集的 zero-shot 圖像分類。
DALL·E: 從文字生成圖像
OpenAI 推出 DALL·E，這是一個具有 120 億參數的 Transformer 模型，能夠透過將圖像和文字視為單一詞元流來從文字描述生成多樣化的圖像。
OpenAI 組織更新 2020 年 12 月
OpenAI 宣布研究副總裁 Dario Amodei 離職，並任命 Mira Murati 為研究、產品與合作夥伴關係高級副總裁，以更有效地整合安全與產品開發。
OpenAI 將 GPT-3 技術授權給 Microsoft
OpenAI 已將其 GPT-3 語言模型技術授權給 Microsoft，以整合至 Microsoft 的產品與服務中，同時為第三方開發者保留獨立的 API 存取權限。
用於自動定理證明的生成式語言建模
OpenAI 推出了 GPT-f，這是一個基於 transformer 的語言模型，專為 Metamath 形式化語言設計，並成功地為 Metamath 主函式庫貢獻了新的證明。
學習透過人類回饋進行摘要生成
OpenAI 證明了人類回饋強化學習 (RLHF) 允許較小的語言模型在文本摘要生成任務中，表現顯著優於僅透過監督式學習訓練的更大模型。
OpenAI Scholars 2020 Final Projects
OpenAI 公布了 2020 年學者計畫的最終專案，展示了神經網路解釋性、強化學習、語義解析和醫療 AI 的研究成果。
OpenAI Procgen 與 MineRL 競賽
OpenAI 與 AIcrowd、卡內基美隆大學以及 DeepMind 合作，利用 Procgen Benchmark 和 MineRL 舉辦兩項 NeurIPS 2020 競賽，旨在推進強化學習的樣本效率與泛化能力。
圖像 GPT
OpenAI 的 Image GPT (iGPT) 證明，一個在像素序列上訓練的 Transformer 模型能夠生成連貫的圖像，並學習到與領域特定架構先驗無關的具競爭力的無監督視覺特徵。
OpenAI API 發布
OpenAI 已發布一個通用的 文字輸入、文字輸出 API，提供對 GPT-3 系列模型的存取，以實現多樣化的 AI 驅動應用程式的開發。
OpenAI GPT-3: 語言模型作為少樣本學習者
OpenAI 推出了 GPT-3，這是一個具有 1750億 個參數的自回歸語言模型，該模型在各種 NLP 任務上展現出強大的少樣本性能，且無需進行任務特定的微調。
OpenAI AI 與效率分析
OpenAI 的分析顯示，自 2012 年以來，演算法的進步已將神經網路訓練至相同性能水平所需的計算量，每 16 個月減少了一半。
OpenAI Jukebox
OpenAI Jukebox 是一個能夠生成原始音訊音樂的神經網路，可以根據流派、藝術家和歌詞來生成，包括初步的歌唱。
OpenAI: 提升 AI 開發中的可驗證性
OpenAI 與多機構聯盟提出十種機制，以協助利益相關者驗證 AI 系統是否遵守所宣稱的倫理原則與安全標準，以防止競爭性的削角行為。
OpenAI Microscope: 神經網路可解釋性的工具
OpenAI Microscope 是一款視覺化工具，它系統性地視覺化數個常用視覺模型中的每個神經元，以加速對神經網路逆向工程的研究。
OpenAI 標準化使用 PyTorch
OpenAI 已將其深度學習框架標準化為 PyTorch，以提升研究生產力並減少生成式建模的迭代時間。
OpenAI 類神經語言模型縮放法則
OpenAI 研究人員發現，語言模型性能與模型規模、數據集大小和計算量之間遵循可預測的冪律關係，從而能夠實現訓練資源的最佳分配。
OpenAI Five: Dota 2 Reinforcement Learning
OpenAI Five 是第一個在電競遊戲中擊敗世界冠軍的 AI 系統，證明了大規模自我對弈強化學習可以在複雜且連續的狀態-動作空間中達到超人類的性能。
OpenAI Deep Double Descent
OpenAI 研究人員證明了 CNNs、ResNets 和 transformers 展現出雙重下降現象，即隨著模型大小、數據大小或訓練時間的增加，性能會先提升、惡化，然後再次提升。
OpenAI Procgen Benchmark 發佈
OpenAI 已發佈 Procgen Benchmark，這是一套包含 16 個程序化生成環境的套件，旨在衡量強化學習代理在未見過的關卡中泛化技能的能力。
OpenAI 在深度強化學習中進行安全探索基準測試
OpenAI 推出了 Safety Gym 基準測試套件，將受限強化學習標準化為安全探索在高維度連續控制環境中的主要形式化方法。
OpenAI Safety Gym 發佈
OpenAI 已發佈 Safety Gym，這是一套旨在衡量並改善強化學習代理在訓練期間遵守安全約束能力的環境與工具。
GPT-2 1.5B 發佈說明
OpenAI 已發佈具有 15 億個參數的最大版本 GPT-2，完成了其分階段發佈流程，為負責任的 AI 發佈提供了一個案例研究。
OpenAI 使用機器人手解決魔術方塊
OpenAI 訓練了一對神經網路，利用類人機器人手解決魔術方塊，並使用了一種稱為 Automatic Domain Randomization (ADR) 的新技術，將模擬中學習到的技能轉移到物理世界。
OpenAI Scholars 2020 計畫申請
OpenAI 已開放其第三屆 OpenAI Scholars 的申請，這是一項為期四個月的計畫，為來自代表性不足群體的八位成員提供津貼與導師指導，以進行深度學習研究。
從人類偏好進行 GPT-2 微調
OpenAI 使用人類回饋對 774M 參數的 GPT-2 模型進行了微調，以改進風格化文本續寫和摘要任務，並發現人類標註員通常偏好準確的複製而非新穎的綜合。
OpenAI 從多智能體互動中展現出的工具使用能力
OpenAI 研究人員發現，透過多智能體協同適應與自我博弈，玩模擬躲貓貓遊戲的智能體開發出了六個不同層級的複雜工具使用能力與策略。
OpenAI 測試針對未知對手的魯棒性
OpenAI 推出了一項新指標，稱為「未知攻擊魯棒性」（Unforeseen Attack Robustness, UAR），用以評估神經網路分類器在面對訓練期間未曾遇到的對抗性攻擊時的防禦表現如何。