OpenAI Triton 1.0 リリース
OpenAIは、研究者が深いCUDAの専門知識なしに、非常に効率的なGPUカーネルを記述できるようにする、オープンソースのPythonライクな言語およびコンパイラであるTriton 1.0をリリースしました。
Hugging Face DeDLOC: インターネットを介した言語モデルの共同トレーニング
Hugging Faceは、ネットワークやハードウェアの制約に適応することで、ボランティアがインターネットを介して大規模言語モデルを共同で事前学習することを可能にする分散トレーニング手法、DeDLOCを導入しました。
spaCy Integration with Hugging Face Hub
Hugging FaceはspaCyをHugging Face Hubに統合し、ユーザーが統一されたプラットフォームを介してspaCyパイプラインを共有、発見、デプロイできるようにしました。
Amazon SageMaker で Hugging Face モデルを簡単にデプロイする
Hugging Face と Amazon SageMaker は、新しい推論 Deep Learning コンテナ (DLC) と推論ツールキットを導入し、Transformer モデルを本番環境のエンドポイントにデプロイする作業を簡素化しました。
コードでトレーニングされた大規模言語モデルの評価: OpenAI Codex
OpenAIは、GitHubのコードで微調整されたGPTモデルであるCodexを導入しました。これは、HumanEval問題の28.8%を1回の試行で解決し、繰り返しサンプリングを使用すると最大70.2%を解決します。
Hugging Face Hub における Sentence Transformers の統合
Hugging Face は Sentence Transformers を Hub に統合し、100 以上の言語に対応する 90 以上の学習済みモデルと、特徴抽出および文章の類似性のための新しいインタラクティブなウィジェットを提供します。
OpenAI Research: 厳選されたデータセットのファインチューニングによる言語モデルの振る舞いの改善
OpenAIの研究者たちは、100例未満の小規模で厳選されたデータセットでGPT-3をファインチューニングすることで、ダウンストリームのパフォーマンスを損なうことなく、モデルが特定の行動的価値観に沿うようにすることを大幅に改善できることを見出しました。
GPT-NeoとHugging Face Accelerated Inference APIを使用したFew-Shot Learning
Hugging Faceは、オープンソースのGPT-NeoモデルとAccelerated Inference APIを使用して、広範なラベル付きデータなしでタスクの汎化を可能にするFew-Shot Learningの適用について探求しています。
Gradio 2.0 を使用した Hugging Face モデルの使用と混合
Gradio 2.0 により、機械学習開発者は Hugging Face モデルを一行のコードで GUI としてロードおよび展開することができ、並列および直列のモデル構成をサポートしています。
OpenAI Scholars 2021: 最終プロジェクト
OpenAIは、2021 Scholarsプログラムの最終プロジェクトを発表しました。多様な研究者グループによるスケーリング法則、報酬モデリング、強化学習の研究が特徴です。
Will Hurd が OpenAI の取締役会に加入
OpenAI は、公共政策の専門知識を技術的な AI 開発と統合するために、元米国下院議員の Will Hurd を取締役会に任命しました。
CPU上でのBERT推論のスケーリング (Part 1)
Hugging Face は、最新の CPU 上での BERT 推論のスループットを、NUMA を意識したアフィニティ設定を介して特定の物理コアにバインドされた複数の独立したモデルインスタンスを使用することで、線形にスケーリングできることを示しています。
Hugging Face Accelerate ライブラリのリリース
Hugging Face は、ボイラープレートコードを書き直すことなく、マルチ GPU や TPU を含むあらゆるデバイス構成上で生のトレーニング・スクリプトを実行できるようにする PyTorch ライブラリ、Accelerate をリリースしました。
Hugging FaceとAmazon SageMakerを使用した、要約のためのBARTおよびT5の分散トレーニング
Hugging FaceとAmazon SageMakerは、最適化されたDeep Learning Containersと専用のHuggingFace estimatorを提供することで、BARTやT5のようなTransformersモデルの分散トレーニングを簡素化するために統合されました。
BigBirdのブロック疎なアテンションの理解
BigBirdは、Transformerの計算量を二次関数から線形に削減するためにブロック疎なアテンションを導入し、最大4096トークンのシーケンス処理を可能にします。
GPT-3 API Ecosystem and Application Growth
OpenAIは、300以上のアプリケーションと数万人の開発者が、多様な業界においてGPT-3を利用し、1日平均45億語を生成していると報告しています。
Amazon SageMakerとHugging Faceのパートナーシップ
Hugging FaceとAmazonは、専用のDeep Learning Containers (DLCs)とPython SDKの拡張機能を通じてHugging Face TransformersをAmazon SageMakerに統合し、NLPモデルのトレーニングとデプロイを加速させるためのパートナーシップを締結しました。
Google Cloud Run に Hugging Face Transformers の感情分析パイプラインをデプロイする
コミュニティメンバーが、DistilBERT モデルを使用して Hugging Face の感情分析パイプラインを Google Cloud Run に提供する方法を実演し、月間最小限のコストで 5 秒未満のレイテンシを実現しました。
Hugging Face Transformers を使用した英語 ASR 向け Wav2Vec2 のファインチューニング
Hugging Face は、Connectionist Temporal Classification (CTC) 損失を使用して英語の自動音声認識 (ASR) 向けに事前学習済み Wav2Vec2 音声モデルをファインチューンする詳細なガイドを提供しています。
Hugging Face Reads: Long-range Transformers
Hugging Faceは、標準的なTransformerの自己注意のメモリと時間の計算量が二次関数的になる複雑さを、線形に削減するために設計された4つの主要なアーキテクチャ—Longformer、Compressive Transformer、Linformer、Performer—を分析しています。
CLIPにおけるマルチモーダル・ニューロン
OpenAIは、CLIPにおいて、提示されたものが文字通りか、記号的か、あるいは概念的かに関わらず、同じ概念に反応するニューロンを発見しました。これは、人間の脳に見られるマルチモーダル・ニューロンを反映しています。
Hugging Face: ニューラルネットワーク構築のためのシンプルな検討事項
Hugging Faceは、盲目的なハイパーパラメータ・チューニングよりも、データ分析、シンプルなベースライン、および厳格な実装チェックを優先することで、ニューラルネットワークの構築とデバッグのためのフレームワークを提供しています。
Hugging Face Transformers と Ray による Retrieval Augmented Generation
Hugging Face は、検索呼び出しの 2 倍の高速化と分散ファインチューニングの拡張性を向上させるために、Retrieval Augmented Generation (RAG) モデルのドキュメント検索メカニズムに Ray を統合しました。
Hugging Face PyTorch / XLA TPU 統合
Hugging Face は、既存の Hugging Face Trainer インターフェースを使用して、PyTorch ユーザーが Cloud TPU 上で transformer モデルをトレーニングおよびスケーリングできるようにするために、PyTorch / XLA を統合しました。
大規模言語モデルの能力、限界、および社会的影響の理解
OpenAIは、GPT-3およびその他の大規模言語モデルに関連する技術的境界と社会的リスクを探求する、多角的なワークショップの概要をまとめています。
Hugging Face Transformers v4.2.0 TensorFlow パフォーマンスおよびサービングのアップデート
Hugging Face Transformers v4.2.0 は、TensorFlow モデルの計算パフォーマンスを大幅に向上させ、SavedModel フォーマットを使用した TensorFlow Serving によるデプロイメントを合理化します。
OpenAI が Kubernetes を 7,500 ノードにスケール
OpenAI は単一の Kubernetes クラスタを 7,500 ノードにスケールし、機械学習研究向けのシンプルでスケーラブルなインフラを提供しました。ネットワーク、API サーバー負荷、モニタリングの課題を克服しています。
DeepSpeedおよびFairScaleを介したHugging Face TransformersのZeRO統合
Hugging Face Transformers v4.2.0では、DeepSpeedおよびFairScaleのZeRO最適化の実験的なサポートが導入され、より大きなモデルをより高いバッチサイズで、GPUメモリ要件を抑えてトレーニングすることが可能になります。
Hugging Face Accelerated Inference API Optimization
Hugging Faceは、高レベルのライブラリ最適化、Rustベースのトークン化、およびハードウェア固有のコンパイルを組み合わせることで、Accelerated Inference APIにおけるtransformer推論の100倍の高速化を実現しました。
CLIP: テキストと画像を接続する
OpenAIは、多様なデータセットにわたってゼロショット画像分類を可能にするため、自然言語の監督を通じて視覚的概念を学習するニューラルネットワークであるCLIPを発表しました。
DALL·E: テキストから画像を生成
OpenAIは、画像とテキストを単一のトークンストリームとして扱うことで、テキストの説明から多様な画像を生成できる120億パラメータのトランスフォーマーモデルであるDALL·Eを発表しました。
OpenAI 組織アップデート 2020年12月
OpenAIは、リサーチ担当VPであるDario Amodeiの離脱と、セーフティとプロダクト開発をより良く統合するためにMira Muratiをリサーチ、プロダクト、およびパートナーシップ担当SVPに任命したことを発表しました。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary
Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。
fairseq WMT19翻訳システムを🤗 Transformersに移植
Hugging Faceは、fairseq WMT19翻訳モデル（en‑ru, ru‑en, de‑en, en‑de）を🤗 Transformersライブラリに移植し、標準のTransformers APIを使ってこれらの高品質な翻訳モデルをロードおよび実行できるようにしました。
Hugging Face Transformers と Ray Tune の統合
Hugging Face Transformers 3.1 は、Ray Tune との統合を導入し、Population-Based Training や Bayesian Optimization のような高度なハイパーパラメータチューニングアルゴリズムを簡単に実装できるようにします。
TransformerベースのEncoder-Decoderモデル Hugging Face ブログ記事 2020
Hugging Faceの2020年のブログ記事では、TransformerベースのEncoder-Decoderアーキテクチャについて、エンコーダーとデコーダーのスタック、自己注意、相互注意、および自己回帰生成を通じて、入力シーケンスがどのように可変長の出力にマッピングされるかを詳細に説明し、🤗Transformersライブラリでの使用方法を示しています。
OpenAIがGPT-3テクノロジーをマイクロソフトにライセンス供与
OpenAIは、サードパーティ開発者向けの独立したAPIアクセスを維持しながら、マイクロソフト製品およびサービスへの統合のためにGPT-3言語モデル技術をマイクロソフトにライセンス供与しました。
Hugging Face pytorch_block_sparse リリース
Hugging Face は、標準的な PyTorch の疎行列よりもメモリ消費量を削減し、計算効率を向上させることで、より小さく高速な言語モデルを作成するための BlockSparseLinear モジュールを提供するライブラリ pytorch_block_sparse をリリースしました。
自動定理証明のための生成言語モデリング
OpenAIは、Metamath形式化言語のために設計されたTransformerベースの言語モデルであるGPT-fを導入し、Metamathのメインライブラリに新しい証明を正常に寄与させました。
人間フィードバックを使った要約の学習
OpenAIは、人間フィードバックからの強化学習（RLHF）により、教師あり学習のみで訓練されたはるかに大きなモデルよりも小さな言語モデルがテキスト要約において優れていることを示しています。
OpenAI Scholars 2020 Final Projects
OpenAIは、2020年のScholarsプログラムの最終プロジェクトを公開し、ニューラルネットワークの解釈可能性、強化学習、セマンティックパーシング、および医療AIにおける研究を紹介しました。
Reformer: メモリ効率の高いトランスフォーマーで言語モデリングの限界に挑む
Hugging Face が 2020 年 7 月に導入した Reformer モデルは、LSH セルフアテンション、ローカル セルフアテンション、チャンク化されたフィードフォワード層、可逆残差、および軸方向位置エンコーディングを組み合わせることで、8 GB 未満の RAM で最大 50 万トークンのシーケンスでのトレーニングを可能にします。
OpenAI Procgen and MineRL コンペティション
OpenAIは、強化学習のサンプル効率と汎化性能を向上させるために、Procgen BenchmarkとMineRLを使用した2つのNeurIPS 2020コンペティションを共同開催しています。
Image GPT
OpenAIのImage GPT (iGPT) は、ピクセルシーケンス上で訓練されたtransformerモデルが、ドメイン固有のアーキテクチャの事前知識なしに、一貫性のある画像を生成し、競争力のある教師なし視覚的特徴を学習できることを示しています。
OpenAI API リリース
OpenAIは、GPT-3ファミリーのモデルへのアクセスを提供し、多様なAI搭載アプリケーションの開発を可能にする、汎用的なテキストイン・テキストアウトAPIをリリースしました。
OpenAI GPT-3: 言語モデルをFew-Shot Learnerとして活用する
OpenAIは、タスク固有のファインチューニングを必要とせずに、多様なNLPタスクにおいて強力なFew-Shot性能を示す、1750億個のパラメータを持つ自己回帰型言語モデルGPT-3を導入しました。
OpenAI AIと効率性の分析
OpenAIの分析によれば、アルゴリズムの進歩により、2012年以降、ニューラルネットワークを同じ性能レベルに訓練するために必要な計算量は、16ヶ月ごとに2倍ずつ減少しています。
OpenAI Jukebox
OpenAI Jukeboxは、ジャンル、アーティスト、歌詞に条件付けられた、原始的な歌唱も含む生のオーディオ音楽を生成できるニューラルネットワークです。
OpenAI: AI開発における検証可能性の向上
OpenAIと複数の機関からなる連合は、競争による手抜きを防ぐために、AIシステムが表明された倫理原則や安全基準に従っていることをステークホルダーが検証するのを助ける10個のメカニズムを提案しています。
OpenAI Microscope: ニューラルネットワークの解釈可能性のためのツール
OpenAI Microscopeは、ニューラルネットワークのリバースエンジニアリングに関する研究を加速させるために、いくつかの一般的なビジョンモデル内のすべてのニューロンを体系的に可視化する可視化ツールです。