OpenAI API リリース
OpenAIは、GPT-3ファミリーのモデルへのアクセスを提供し、多様なAI搭載アプリケーションの開発を可能にする、汎用的なテキストイン・テキストアウトAPIをリリースしました。
OpenAI GPT-3: 言語モデルをFew-Shot Learnerとして活用する
OpenAIは、タスク固有のファインチューニングを必要とせずに、多様なNLPタスクにおいて強力なFew-Shot性能を示す、1750億個のパラメータを持つ自己回帰型言語モデルGPT-3を導入しました。
OpenAI AIと効率性の分析
OpenAIの分析によれば、アルゴリズムの進歩により、2012年以降、ニューラルネットワークを同じ性能レベルに訓練するために必要な計算量は、16ヶ月ごとに2倍ずつ減少しています。
OpenAI Jukebox
OpenAI Jukeboxは、ジャンル、アーティスト、歌詞に条件付けられた、原始的な歌唱も含む生のオーディオ音楽を生成できるニューラルネットワークです。
OpenAI: AI開発における検証可能性の向上
OpenAIと複数の機関からなる連合は、競争による手抜きを防ぐために、AIシステムが表明された倫理原則や安全基準に従っていることをステークホルダーが検証するのを助ける10個のメカニズムを提案しています。
OpenAI Microscope: ニューラルネットワークの解釈可能性のためのツール
OpenAI Microscopeは、ニューラルネットワークのリバースエンジニアリングに関する研究を加速させるために、いくつかの一般的なビジョンモデル内のすべてのニューロンを体系的に可視化する可視化ツールです。
Hugging Face テキスト生成デコーディング手法ガイド
Hugging Face は、Transformers におけるオープンエンドな言語生成を最適化するために、Greedy Search、Beam Search、および Sampling (Top-K と Top-p) を含む自己回帰的なデコーディング戦略の包括的な概要を提供しています。
TransformersとTokenizersを使用した言語モデルのスクラッチからのトレーニング
Hugging Faceは、TransformersとTokenizersライブラリを使用して、新しい言語モデルをスクラッチからトレーニングする方法に関する包括的なガイドとデモンストレーションを提供しており、エスペラント語のためのEsperBERToの作成を特徴としています。
OpenAI、PyTorchを標準化
OpenAIは、研究生産性を向上させ、生成モデリングの反復時間を短縮するために、ディープラーニング・フレームワークをPyTorchに標準化しました。
OpenAI Scaling Laws for Neural Language Models
OpenAIの研究者は、言語モデルの性能がモデルのサイズ、データセットのサイズ、および計算量と予測可能なべき乗則の関係に従うことを発見し、これによりトレーニングリソースの最適な配分が可能になります。
OpenAI Five: Dota 2 強化学習
OpenAI Fiveは、eスポーツのゲームで世界チャンピオンを破った最初のAIシステムであり、大規模な自己対戦による強化学習が、複雑で連続的な状態・行動空間において超人的なパフォーマンスを達成できることを証明しています。
OpenAI Deep Double Descent
OpenAIの研究者は、CNNs、ResNets、およびtransformersが、モデルのサイズ、データサイズ、または学習時間が大きくなるにつれて、性能が向上し、劣化し、再び向上するというdouble descent（二重降下）現象を示すことを実証しました。
OpenAI Procgen Benchmark リリース
OpenAIは、強化学習エージェントが未知のレベルに対してスキルを汎化する能力を測定するために設計された、16個の手続き型生成環境のスイートであるProcgen Benchmarkをリリースしました。
OpenAI 深層強化学習における安全な探索のベンチマーク化
OpenAIは、高次元の連続制御環境における安全な探索のための主要な形式手法として、制約付き強化学習を標準化するためにSafety Gymベンチマークスイートを導入しました。
OpenAI Safety Gym リリース
OpenAIは、学習中に強化学習エージェントが安全制約を遵守する能力を測定し、改善するための環境とツールのスイートであるSafety Gymをリリースしました。
GPT-2 1.5B リリースノート
OpenAIは、段階的リリースプロセスを完了し、責任あるAI出版のケーススタディを提供するために、15億パラメータのGPT-2最大バージョンをリリースしました。
OpenAIがロボットハンドでルービックキューブを解く
OpenAIは、Automatic Domain Randomization (ADR)と呼ばれる新しい手法を用いて、シミュレーションで学習したスキルを物理的な世界へと転送するために、人間のようなロボットハンドを使用してルービックキューブを解くニューラルネットワークのペアを訓練しました。
OpenAI Scholars 2020 Program Applications
OpenAIは、過小評価されているグループに属する8名に対し、ディープラーニングを学習し、プロジェクトをオープンソース化するための奨学金とメンターシップを提供する4ヶ月間のプログラム、第3期OpenAI Scholarsの応募受付を開始しました。
人間の好みに基づくGPT-2のファインチューニング
OpenAIは、スタイリッシュなテキスト継続と要約の向上を目指して、人間のフィードバックを用いて774MパラメータのGPT-2モデルをファインチューニングしました。その過程で、人間のラベル付け作業者が、新規な合成よりも正確なコピーを好む傾向があることを発見しました。
OpenAI マルチエージェント相互作用から生じるツール使用の発現
OpenAIの研究者は、シミュレートされた隠れんぼゲームでプレイするエージェントが、マルチエージェント共適応とセルフプレイを通じて、6つの異なるレベルの複雑なツール使用と戦略を開発したことを発見しました。
OpenAI、予期せぬ敵対的攻撃に対する堅牢性をテスト中
OpenAIは、ニューラルネットワーク分類器が、トレーニング中に遭遇していない敵対的攻撃に対してどの程度うまく防御できるかを評価するために、新しい指標であるUnforeseen Attack Robustness (UAR)を導入しました。
GPT-2 6ヶ月後のフォローアップ
OpenAIは774MパラメータのGPT-2モデルをリリースし、合成テキストのリスク、検出の難しさ、および大規模言語モデルの段階的なリリース戦略の必要性に関する教訓を共有しました。
OpenAI Learning Day: クロスファンクショナルな専門性を育む
OpenAIは、毎週木曜日に専用の自己学習日であるLearning Dayを導入し、クロスファンクショナルな技術的成長を促進し、職業的停滞を防いでいます。
MicrosoftとOpenAIによるAGI開発のためのパートナーシップ
Microsoftは、有益な汎用人工知能（AGI）の構築に向けてスケールするように設計された、Azure上のハードウェアおよびソフトウェアプラットフォームを共同開発するため、OpenAIに10億ドルを投資しました。
OpenAI Framework for AI Safety Cooperation
OpenAIは、業界全体で安全性に関する規範と基準の協力関係を促進することで、AI開発における集団的行動問題を回避するための4つの戦略を提案しています。
OpenAI ロボティクス シンポジウム 2019
OpenAI は 2019 年 4 月 27 日に初めてのロボティクス シンポジウムを開催し、ロボットと機械学習の専門家を集めて、学習するロボットの開発について議論しました。
OpenAI Scholars 2019 最終プロジェクト
OpenAIは、2019 OpenAI Scholarsプログラムの最終プロジェクトのサマリーをリリースし、さまざまな分野におけるディープラーニング、強化学習、NLPの多様な応用を紹介しました。
OpenAI Fellows Fall 2018 Final Projects
OpenAIは、第2期のOpenAI Fellowsの修了を発表しました。6ヶ月間の見習い期間を経て、参加者6名全員が技術スタッフのフルタイムメンバーへと移行しました。
OpenAI Research: 摂動タイプ間における敵対的堅牢性の転移
OpenAIの研究者は、敵対的堅牢性が異なる摂動タイプ間で一貫して転移しないことを発見しました。これは、防御策が真に効果的であるためには、多様な攻撃ベクトルに対して評価される必要があることを示唆しています。
OpenAI MuseNet
MuseNetは、数十万のMIDIファイルからハーモニー、リズム、スタイルのパターンを学習することで、10種類の楽器を用いて4分間の楽曲を構成できるディープニューラルネットワークです。
OpenAI Sparse Transformer
OpenAIは、アルゴリズムの計算複雑度を $O(N^2)$ から $O(N \sqrt{N})$ に削減することで、従来のTransformerよりも30倍長いシーケンスをモデリングできるように、アテンション・メカニズムを再構成した深層ニューラルネットワークであるSparse Transformerを導入しました。
OpenAI FiveがDota 2の世界チャンピオンを破った
OpenAI Fiveは、Dota 2チームOGに対して2試合連続で勝利し、ライブ配信中の試合でeスポーツの世界チャンピオンを破った初のAIとなりました。
OpenAI Five Finals Event Announcement
OpenAIは、Dota 2 AIの能力、スケーラビリティ、および人間とAIの相互作用の能力を示すために、2019年4月13日にOpenAI Fiveの最終ライブイベントを開催すると発表しました。
エネルギーベースモデルのための暗黙的生成および汎化手法
OpenAIの研究者は、エネルギーベースモデル（EBM）の安定かつスケーラブルな学習手法を開発し、尤度ベースのモデルと比較して、高品質な画像生成と優れた分布外（out-of-distribution）の汎化性能を達成しました。
OpenAI Scholars 2019 プログラム参加者
OpenAIは、強化学習、自然言語処理、および生成モデルに焦点を当てた、多角的な研究者のグループである2019年度のScholars（奨学生）のコホートを発表しました。
OpenAI LP：上限利益構造への移行
OpenAIは、計算資源と人材のために数十億ドルの資本を調達しつつ、安全なAGIという主要ミッションが全人類に利益をもたらすことを保証するハイブリッド上限利益会社であるOpenAI LPの設立を発表しました。
OpenAI Activation Atlases
OpenAIとGoogleの研究者は、ニューロン間の相互作用をマッピングする可視化技術であるActivation Atlasesを導入しました。これにより、ニューラルネットワークがどのように概念を表現し、意思決定の弱点を特定する方法を明らかにします。
Neural MMO: マルチエージェント大規模ゲーム環境
OpenAIは、持続的かつ大規模な環境であるNeural MMOをリリースしました。この環境では、強化学習エージェントにおいて、人口規模の増加と種の多様性が探索とニッチ形成を促進することを示しています。
OpenAI Spinning Up in Deep RL ワークショップ レビュー
OpenAIは、多様な参加者に対し、強化学習におけるメンターシップとスキル開発をスケールアップするために、Spinning Up in Deep RLリソースパッケージに基づいたワークショップを開催しました。
AIの安全性には社会科学者が必要
OpenAIは、長期的なAIの安全性と整合性のために、人間の認知バイアスと人間の価値の複雑さを考慮に入れるため、社会科学の統合が必要だと主張している。
OpenAI GPT-2 リリースとその影響
OpenAIは、ゼロショットタスクパフォーマンスと一貫したテキスト生成が可能な15億パラメータの教師なし言語モデルであるGPT-2を発表し、悪用リスクを軽減するため段階的リリース戦略を実施しました。
OpenAIの研究: 堅牢な分類における計算上の限界
OpenAIの研究者たちは、堅牢な分類器が存在するものの計算上学習することが不可能な分類タスクを特定し、堅牢な学習の困難さと暗号プリミティブの存在を関連付けました。
OpenAI Summer Fellows 2018 Final Projects
OpenAIの2018年Summer Fellowsは、強化学習の汎化、分散型訓練のパターン、および生成モデルの表現力に焦点を当てた研究プロジェクトを完了しました。
AIトレーニングのスケール方法：勾配ノイズスケールによる並列化可能性の予測
OpenAI は、ネットワーク勾配の信号対雑音比を定量化する統計指標である勾配ノイズスケールが、さまざまなタスクにわたってニューラルネットワークのトレーニングにおける最大有用バッチサイズを予測できることを発見しました。
強化学習における汎化の定量化
OpenAIは、強化学習においてエージェントが学習したスキルを新しい状況に転移させる能力を定量化し向上させることを目的とした、手続き的に生成されたトレーニング環境であるCoinRunを紹介します。
OpenAI の Deep RL 向け Spinning Up
OpenAI は、実務者が深層強化学習を習得できるように、コード、チュートリアル、ドキュメントを提供する教育リソース「Spinning Up in Deep RL」をリリースしました。
エネルギー関数を用いたOpenAIの概念学習
OpenAIは、エネルギー関数を用いてエージェントが概念を学習・抽出し、再訓練なしで異なる環境間で転送できる手法を開発しました。
OpenAI プラン・オンライン・ラーニング・オフライン（POLO）フレームワーク
OpenAI は、ローカルなモデルベース制御とグローバルな価値関数学習を組み合わせ、複雑なシミュレート制御タスクにおける効率的な学習を可能にする Plan Online Learn Offline（POLO）フレームワークを紹介します。
OpenAI ランダムネットワーク蒸留 (RND) 強化学習用
OpenAI は、好奇心駆動型探索手法であるランダムネットワーク蒸留 (RND) を導入し、初めて人間のデモンストレーションやエミュレータ状態へのアクセスを使用せずに、Montezuma's Revenge で平均的な人間のパフォーマンスを上回りました。
OpenAI 反復増幅による複雑な目標学習
OpenAI は、タスクをより単純なサブタスクに分解してトレーニングシグナルを生成することで、複雑で人間のスケールを超える目標の指定を可能にする AI 安全技術として、反復増幅を提案しています。