BigBirdのブロック疎なアテンションの理解
BigBirdは、Transformerの計算量を二次関数から線形に削減するためにブロック疎なアテンションを導入し、最大4096トークンのシーケンス処理を可能にします。
GPT-3 API Ecosystem and Application Growth
OpenAIは、300以上のアプリケーションと数万人の開発者が、多様な業界においてGPT-3を利用し、1日平均45億語を生成していると報告しています。
Amazon SageMakerとHugging Faceのパートナーシップ
Hugging FaceとAmazonは、専用のDeep Learning Containers (DLCs)とPython SDKの拡張機能を通じてHugging Face TransformersをAmazon SageMakerに統合し、NLPモデルのトレーニングとデプロイを加速させるためのパートナーシップを締結しました。
Google Cloud Run に Hugging Face Transformers の感情分析パイプラインをデプロイする
コミュニティメンバーが、DistilBERT モデルを使用して Hugging Face の感情分析パイプラインを Google Cloud Run に提供する方法を実演し、月間最小限のコストで 5 秒未満のレイテンシを実現しました。
Hugging Face Transformers を使用した英語 ASR 向け Wav2Vec2 のファインチューニング
Hugging Face は、Connectionist Temporal Classification (CTC) 損失を使用して英語の自動音声認識 (ASR) 向けに事前学習済み Wav2Vec2 音声モデルをファインチューンする詳細なガイドを提供しています。
Hugging Face Reads: Long-range Transformers
Hugging Faceは、標準的なTransformerの自己注意のメモリと時間の計算量が二次関数的になる複雑さを、線形に削減するために設計された4つの主要なアーキテクチャ—Longformer、Compressive Transformer、Linformer、Performer—を分析しています。
CLIPにおけるマルチモーダル・ニューロン
OpenAIは、CLIPにおいて、提示されたものが文字通りか、記号的か、あるいは概念的かに関わらず、同じ概念に反応するニューロンを発見しました。これは、人間の脳に見られるマルチモーダル・ニューロンを反映しています。
Hugging Face: ニューラルネットワーク構築のためのシンプルな検討事項
Hugging Faceは、盲目的なハイパーパラメータ・チューニングよりも、データ分析、シンプルなベースライン、および厳格な実装チェックを優先することで、ニューラルネットワークの構築とデバッグのためのフレームワークを提供しています。
Hugging Face Transformers と Ray による Retrieval Augmented Generation
Hugging Face は、検索呼び出しの 2 倍の高速化と分散ファインチューニングの拡張性を向上させるために、Retrieval Augmented Generation (RAG) モデルのドキュメント検索メカニズムに Ray を統合しました。
Hugging Face PyTorch / XLA TPU 統合
Hugging Face は、既存の Hugging Face Trainer インターフェースを使用して、PyTorch ユーザーが Cloud TPU 上で transformer モデルをトレーニングおよびスケーリングできるようにするために、PyTorch / XLA を統合しました。
大規模言語モデルの能力、限界、および社会的影響の理解
OpenAIは、GPT-3およびその他の大規模言語モデルに関連する技術的境界と社会的リスクを探求する、多角的なワークショップの概要をまとめています。
Hugging Face Transformers v4.2.0 TensorFlow パフォーマンスおよびサービングのアップデート
Hugging Face Transformers v4.2.0 は、TensorFlow モデルの計算パフォーマンスを大幅に向上させ、SavedModel フォーマットを使用した TensorFlow Serving によるデプロイメントを合理化します。
OpenAI が Kubernetes を 7,500 ノードにスケール
OpenAI は単一の Kubernetes クラスタを 7,500 ノードにスケールし、機械学習研究向けのシンプルでスケーラブルなインフラを提供しました。ネットワーク、API サーバー負荷、モニタリングの課題を克服しています。
DeepSpeedおよびFairScaleを介したHugging Face TransformersのZeRO統合
Hugging Face Transformers v4.2.0では、DeepSpeedおよびFairScaleのZeRO最適化の実験的なサポートが導入され、より大きなモデルをより高いバッチサイズで、GPUメモリ要件を抑えてトレーニングすることが可能になります。
Hugging Face Accelerated Inference API Optimization
Hugging Faceは、高レベルのライブラリ最適化、Rustベースのトークン化、およびハードウェア固有のコンパイルを組み合わせることで、Accelerated Inference APIにおけるtransformer推論の100倍の高速化を実現しました。
CLIP: テキストと画像を接続する
OpenAIは、多様なデータセットにわたってゼロショット画像分類を可能にするため、自然言語の監督を通じて視覚的概念を学習するニューラルネットワークであるCLIPを発表しました。
DALL·E: テキストから画像を生成
OpenAIは、画像とテキストを単一のトークンストリームとして扱うことで、テキストの説明から多様な画像を生成できる120億パラメータのトランスフォーマーモデルであるDALL·Eを発表しました。
OpenAI 組織アップデート 2020年12月
OpenAIは、リサーチ担当VPであるDario Amodeiの離脱と、セーフティとプロダクト開発をより良く統合するためにMira Muratiをリサーチ、プロダクト、およびパートナーシップ担当SVPに任命したことを発表しました。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary
Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。
fairseq WMT19翻訳システムを🤗 Transformersに移植
Hugging Faceは、fairseq WMT19翻訳モデル（en‑ru, ru‑en, de‑en, en‑de）を🤗 Transformersライブラリに移植し、標準のTransformers APIを使ってこれらの高品質な翻訳モデルをロードおよび実行できるようにしました。
Hugging Face Transformers と Ray Tune の統合
Hugging Face Transformers 3.1 は、Ray Tune との統合を導入し、Population-Based Training や Bayesian Optimization のような高度なハイパーパラメータチューニングアルゴリズムを簡単に実装できるようにします。
TransformerベースのEncoder-Decoderモデル Hugging Face ブログ記事 2020
Hugging Faceの2020年のブログ記事では、TransformerベースのEncoder-Decoderアーキテクチャについて、エンコーダーとデコーダーのスタック、自己注意、相互注意、および自己回帰生成を通じて、入力シーケンスがどのように可変長の出力にマッピングされるかを詳細に説明し、🤗Transformersライブラリでの使用方法を示しています。
OpenAIがGPT-3テクノロジーをマイクロソフトにライセンス供与
OpenAIは、サードパーティ開発者向けの独立したAPIアクセスを維持しながら、マイクロソフト製品およびサービスへの統合のためにGPT-3言語モデル技術をマイクロソフトにライセンス供与しました。
Hugging Face pytorch_block_sparse リリース
Hugging Face は、標準的な PyTorch の疎行列よりもメモリ消費量を削減し、計算効率を向上させることで、より小さく高速な言語モデルを作成するための BlockSparseLinear モジュールを提供するライブラリ pytorch_block_sparse をリリースしました。
自動定理証明のための生成言語モデリング
OpenAIは、Metamath形式化言語のために設計されたTransformerベースの言語モデルであるGPT-fを導入し、Metamathのメインライブラリに新しい証明を正常に寄与させました。
人間フィードバックを使った要約の学習
OpenAIは、人間フィードバックからの強化学習（RLHF）により、教師あり学習のみで訓練されたはるかに大きなモデルよりも小さな言語モデルがテキスト要約において優れていることを示しています。
OpenAI Scholars 2020 Final Projects
OpenAIは、2020年のScholarsプログラムの最終プロジェクトを公開し、ニューラルネットワークの解釈可能性、強化学習、セマンティックパーシング、および医療AIにおける研究を紹介しました。
Reformer: メモリ効率の高いトランスフォーマーで言語モデリングの限界に挑む
Hugging Face が 2020 年 7 月に導入した Reformer モデルは、LSH セルフアテンション、ローカル セルフアテンション、チャンク化されたフィードフォワード層、可逆残差、および軸方向位置エンコーディングを組み合わせることで、8 GB 未満の RAM で最大 50 万トークンのシーケンスでのトレーニングを可能にします。
OpenAI Procgen and MineRL コンペティション
OpenAIは、強化学習のサンプル効率と汎化性能を向上させるために、Procgen BenchmarkとMineRLを使用した2つのNeurIPS 2020コンペティションを共同開催しています。
Image GPT
OpenAIのImage GPT (iGPT) は、ピクセルシーケンス上で訓練されたtransformerモデルが、ドメイン固有のアーキテクチャの事前知識なしに、一貫性のある画像を生成し、競争力のある教師なし視覚的特徴を学習できることを示しています。
OpenAI API リリース
OpenAIは、GPT-3ファミリーのモデルへのアクセスを提供し、多様なAI搭載アプリケーションの開発を可能にする、汎用的なテキストイン・テキストアウトAPIをリリースしました。
OpenAI GPT-3: 言語モデルをFew-Shot Learnerとして活用する
OpenAIは、タスク固有のファインチューニングを必要とせずに、多様なNLPタスクにおいて強力なFew-Shot性能を示す、1750億個のパラメータを持つ自己回帰型言語モデルGPT-3を導入しました。
OpenAI AIと効率性の分析
OpenAIの分析によれば、アルゴリズムの進歩により、2012年以降、ニューラルネットワークを同じ性能レベルに訓練するために必要な計算量は、16ヶ月ごとに2倍ずつ減少しています。
OpenAI Jukebox
OpenAI Jukeboxは、ジャンル、アーティスト、歌詞に条件付けられた、原始的な歌唱も含む生のオーディオ音楽を生成できるニューラルネットワークです。
OpenAI: AI開発における検証可能性の向上
OpenAIと複数の機関からなる連合は、競争による手抜きを防ぐために、AIシステムが表明された倫理原則や安全基準に従っていることをステークホルダーが検証するのを助ける10個のメカニズムを提案しています。
OpenAI Microscope: ニューラルネットワークの解釈可能性のためのツール
OpenAI Microscopeは、ニューラルネットワークのリバースエンジニアリングに関する研究を加速させるために、いくつかの一般的なビジョンモデル内のすべてのニューロンを体系的に可視化する可視化ツールです。
Hugging Face テキスト生成デコーディング手法ガイド
Hugging Face は、Transformers におけるオープンエンドな言語生成を最適化するために、Greedy Search、Beam Search、および Sampling (Top-K と Top-p) を含む自己回帰的なデコーディング戦略の包括的な概要を提供しています。
TransformersとTokenizersを使用した言語モデルのスクラッチからのトレーニング
Hugging Faceは、TransformersとTokenizersライブラリを使用して、新しい言語モデルをスクラッチからトレーニングする方法に関する包括的なガイドとデモンストレーションを提供しており、エスペラント語のためのEsperBERToの作成を特徴としています。
OpenAI、PyTorchを標準化
OpenAIは、研究生産性を向上させ、生成モデリングの反復時間を短縮するために、ディープラーニング・フレームワークをPyTorchに標準化しました。
OpenAI Scaling Laws for Neural Language Models
OpenAIの研究者は、言語モデルの性能がモデルのサイズ、データセットのサイズ、および計算量と予測可能なべき乗則の関係に従うことを発見し、これによりトレーニングリソースの最適な配分が可能になります。
OpenAI Five: Dota 2 強化学習
OpenAI Fiveは、eスポーツのゲームで世界チャンピオンを破った最初のAIシステムであり、大規模な自己対戦による強化学習が、複雑で連続的な状態・行動空間において超人的なパフォーマンスを達成できることを証明しています。
OpenAI Deep Double Descent
OpenAIの研究者は、CNNs、ResNets、およびtransformersが、モデルのサイズ、データサイズ、または学習時間が大きくなるにつれて、性能が向上し、劣化し、再び向上するというdouble descent（二重降下）現象を示すことを実証しました。
OpenAI Procgen Benchmark リリース
OpenAIは、強化学習エージェントが未知のレベルに対してスキルを汎化する能力を測定するために設計された、16個の手続き型生成環境のスイートであるProcgen Benchmarkをリリースしました。
OpenAI 深層強化学習における安全な探索のベンチマーク化
OpenAIは、高次元の連続制御環境における安全な探索のための主要な形式手法として、制約付き強化学習を標準化するためにSafety Gymベンチマークスイートを導入しました。
OpenAI Safety Gym リリース
OpenAIは、学習中に強化学習エージェントが安全制約を遵守する能力を測定し、改善するための環境とツールのスイートであるSafety Gymをリリースしました。
GPT-2 1.5B リリースノート
OpenAIは、段階的リリースプロセスを完了し、責任あるAI出版のケーススタディを提供するために、15億パラメータのGPT-2最大バージョンをリリースしました。
OpenAIがロボットハンドでルービックキューブを解く
OpenAIは、Automatic Domain Randomization (ADR)と呼ばれる新しい手法を用いて、シミュレーションで学習したスキルを物理的な世界へと転送するために、人間のようなロボットハンドを使用してルービックキューブを解くニューラルネットワークのペアを訓練しました。
OpenAI Scholars 2020 Program Applications
OpenAIは、過小評価されているグループに属する8名に対し、ディープラーニングを学習し、プロジェクトをオープンソース化するための奨学金とメンターシップを提供する4ヶ月間のプログラム、第3期OpenAI Scholarsの応募受付を開始しました。
人間の好みに基づくGPT-2のファインチューニング
OpenAIは、スタイリッシュなテキスト継続と要約の向上を目指して、人間のフィードバックを用いて774MパラメータのGPT-2モデルをファインチューニングしました。その過程で、人間のラベル付け作業者が、新規な合成よりも正確なコピーを好む傾向があることを発見しました。
OpenAI マルチエージェント相互作用から生じるツール使用の発現
OpenAIの研究者は、シミュレートされた隠れんぼゲームでプレイするエージェントが、マルチエージェント共適応とセルフプレイを通じて、6つの異なるレベルの複雑なツール使用と戦略を開発したことを発見しました。