✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,432 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Hugging Face PyTorch / XLA TPU 統合
Hugging Face は、既存の Hugging Face Trainer インターフェースを使用して、PyTorch ユーザーが Cloud TPU 上で transformer モデルをトレーニングおよびスケーリングできるようにするために、PyTorch / XLA を統合しました。
大規模言語モデルの能力、限界、および社会的影響の理解
OpenAIは、GPT-3およびその他の大規模言語モデルに関連する技術的境界と社会的リスクを探求する、多角的なワークショップの概要をまとめています。
Hugging Face Transformers v4.2.0 TensorFlow パフォーマンスおよびサービングのアップデート
Hugging Face Transformers v4.2.0 は、TensorFlow モデルの計算パフォーマンスを大幅に向上させ、SavedModel フォーマットを使用した TensorFlow Serving によるデプロイメントを合理化します。
OpenAI が Kubernetes を 7,500 ノードにスケール
OpenAI は単一の Kubernetes クラスタを 7,500 ノードにスケールし、機械学習研究向けのシンプルでスケーラブルなインフラを提供しました。ネットワーク、API サーバー負荷、モニタリングの課題を克服しています。
DeepSpeedおよびFairScaleを介したHugging Face TransformersのZeRO統合
Hugging Face Transformers v4.2.0では、DeepSpeedおよびFairScaleのZeRO最適化の実験的なサポートが導入され、より大きなモデルをより高いバッチサイズで、GPUメモリ要件を抑えてトレーニングすることが可能になります。
Hugging Face Accelerated Inference API Optimization
Hugging Faceは、高レベルのライブラリ最適化、Rustベースのトークン化、およびハードウェア固有のコンパイルを組み合わせることで、Accelerated Inference APIにおけるtransformer推論の100倍の高速化を実現しました。
CLIP: テキストと画像を接続する
OpenAIは、多様なデータセットにわたってゼロショット画像分類を可能にするため、自然言語の監督を通じて視覚的概念を学習するニューラルネットワークであるCLIPを発表しました。
DALL·E: テキストから画像を生成
OpenAIは、画像とテキストを単一のトークンストリームとして扱うことで、テキストの説明から多様な画像を生成できる120億パラメータのトランスフォーマーモデルであるDALL·Eを発表しました。
OpenAI 組織アップデート 2020年12月
OpenAIは、リサーチ担当VPであるDario Amodeiの離脱と、セーフティとプロダクト開発をより良く統合するためにMira Muratiをリサーチ、プロダクト、およびパートナーシップ担当SVPに任命したことを発表しました。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary
Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。
fairseq WMT19翻訳システムを🤗 Transformersに移植
Hugging Faceは、fairseq WMT19翻訳モデル（en‑ru, ru‑en, de‑en, en‑de）を🤗 Transformersライブラリに移植し、標準のTransformers APIを使ってこれらの高品質な翻訳モデルをロードおよび実行できるようにしました。
Hugging Face Transformers と Ray Tune の統合
Hugging Face Transformers 3.1 は、Ray Tune との統合を導入し、Population-Based Training や Bayesian Optimization のような高度なハイパーパラメータチューニングアルゴリズムを簡単に実装できるようにします。
TransformerベースのEncoder-Decoderモデル Hugging Face ブログ記事 2020
Hugging Faceの2020年のブログ記事では、TransformerベースのEncoder-Decoderアーキテクチャについて、エンコーダーとデコーダーのスタック、自己注意、相互注意、および自己回帰生成を通じて、入力シーケンスがどのように可変長の出力にマッピングされるかを詳細に説明し、🤗Transformersライブラリでの使用方法を示しています。
OpenAIがGPT-3テクノロジーをマイクロソフトにライセンス供与
OpenAIは、サードパーティ開発者向けの独立したAPIアクセスを維持しながら、マイクロソフト製品およびサービスへの統合のためにGPT-3言語モデル技術をマイクロソフトにライセンス供与しました。
Hugging Face pytorch_block_sparse リリース
Hugging Face は、標準的な PyTorch の疎行列よりもメモリ消費量を削減し、計算効率を向上させることで、より小さく高速な言語モデルを作成するための BlockSparseLinear モジュールを提供するライブラリ pytorch_block_sparse をリリースしました。
自動定理証明のための生成言語モデリング
OpenAIは、Metamath形式化言語のために設計されたTransformerベースの言語モデルであるGPT-fを導入し、Metamathのメインライブラリに新しい証明を正常に寄与させました。
人間フィードバックを使った要約の学習
OpenAIは、人間フィードバックからの強化学習（RLHF）により、教師あり学習のみで訓練されたはるかに大きなモデルよりも小さな言語モデルがテキスト要約において優れていることを示しています。
OpenAI Scholars 2020 Final Projects
OpenAIは、2020年のScholarsプログラムの最終プロジェクトを公開し、ニューラルネットワークの解釈可能性、強化学習、セマンティックパーシング、および医療AIにおける研究を紹介しました。
Reformer: メモリ効率の高いトランスフォーマーで言語モデリングの限界に挑む
Hugging Face が 2020 年 7 月に導入した Reformer モデルは、LSH セルフアテンション、ローカル セルフアテンション、チャンク化されたフィードフォワード層、可逆残差、および軸方向位置エンコーディングを組み合わせることで、8 GB 未満の RAM で最大 50 万トークンのシーケンスでのトレーニングを可能にします。
OpenAI Procgen and MineRL コンペティション
OpenAIは、強化学習のサンプル効率と汎化性能を向上させるために、Procgen BenchmarkとMineRLを使用した2つのNeurIPS 2020コンペティションを共同開催しています。
Image GPT
OpenAIのImage GPT (iGPT) は、ピクセルシーケンス上で訓練されたtransformerモデルが、ドメイン固有のアーキテクチャの事前知識なしに、一貫性のある画像を生成し、競争力のある教師なし視覚的特徴を学習できることを示しています。
OpenAI API リリース
OpenAIは、GPT-3ファミリーのモデルへのアクセスを提供し、多様なAI搭載アプリケーションの開発を可能にする、汎用的なテキストイン・テキストアウトAPIをリリースしました。
OpenAI GPT-3: 言語モデルをFew-Shot Learnerとして活用する
OpenAIは、タスク固有のファインチューニングを必要とせずに、多様なNLPタスクにおいて強力なFew-Shot性能を示す、1750億個のパラメータを持つ自己回帰型言語モデルGPT-3を導入しました。
OpenAI AIと効率性の分析
OpenAIの分析によれば、アルゴリズムの進歩により、2012年以降、ニューラルネットワークを同じ性能レベルに訓練するために必要な計算量は、16ヶ月ごとに2倍ずつ減少しています。
OpenAI Jukebox
OpenAI Jukeboxは、ジャンル、アーティスト、歌詞に条件付けられた、原始的な歌唱も含む生のオーディオ音楽を生成できるニューラルネットワークです。
OpenAI: AI開発における検証可能性の向上
OpenAIと複数の機関からなる連合は、競争による手抜きを防ぐために、AIシステムが表明された倫理原則や安全基準に従っていることをステークホルダーが検証するのを助ける10個のメカニズムを提案しています。
OpenAI Microscope: ニューラルネットワークの解釈可能性のためのツール
OpenAI Microscopeは、ニューラルネットワークのリバースエンジニアリングに関する研究を加速させるために、いくつかの一般的なビジョンモデル内のすべてのニューロンを体系的に可視化する可視化ツールです。
Hugging Face テキスト生成デコーディング手法ガイド
Hugging Face は、Transformers におけるオープンエンドな言語生成を最適化するために、Greedy Search、Beam Search、および Sampling (Top-K と Top-p) を含む自己回帰的なデコーディング戦略の包括的な概要を提供しています。
TransformersとTokenizersを使用した言語モデルのスクラッチからのトレーニング
Hugging Faceは、TransformersとTokenizersライブラリを使用して、新しい言語モデルをスクラッチからトレーニングする方法に関する包括的なガイドとデモンストレーションを提供しており、エスペラント語のためのEsperBERToの作成を特徴としています。
OpenAI、PyTorchを標準化
OpenAIは、研究生産性を向上させ、生成モデリングの反復時間を短縮するために、ディープラーニング・フレームワークをPyTorchに標準化しました。
OpenAI Scaling Laws for Neural Language Models
OpenAIの研究者は、言語モデルの性能がモデルのサイズ、データセットのサイズ、および計算量と予測可能なべき乗則の関係に従うことを発見し、これによりトレーニングリソースの最適な配分が可能になります。
OpenAI Five: Dota 2 強化学習
OpenAI Fiveは、eスポーツのゲームで世界チャンピオンを破った最初のAIシステムであり、大規模な自己対戦による強化学習が、複雑で連続的な状態・行動空間において超人的なパフォーマンスを達成できることを証明しています。
OpenAI Deep Double Descent
OpenAIの研究者は、CNNs、ResNets、およびtransformersが、モデルのサイズ、データサイズ、または学習時間が大きくなるにつれて、性能が向上し、劣化し、再び向上するというdouble descent（二重降下）現象を示すことを実証しました。
OpenAI Procgen Benchmark リリース
OpenAIは、強化学習エージェントが未知のレベルに対してスキルを汎化する能力を測定するために設計された、16個の手続き型生成環境のスイートであるProcgen Benchmarkをリリースしました。
OpenAI 深層強化学習における安全な探索のベンチマーク化
OpenAIは、高次元の連続制御環境における安全な探索のための主要な形式手法として、制約付き強化学習を標準化するためにSafety Gymベンチマークスイートを導入しました。
OpenAI Safety Gym リリース
OpenAIは、学習中に強化学習エージェントが安全制約を遵守する能力を測定し、改善するための環境とツールのスイートであるSafety Gymをリリースしました。
GPT-2 1.5B リリースノート
OpenAIは、段階的リリースプロセスを完了し、責任あるAI出版のケーススタディを提供するために、15億パラメータのGPT-2最大バージョンをリリースしました。
OpenAIがロボットハンドでルービックキューブを解く
OpenAIは、Automatic Domain Randomization (ADR)と呼ばれる新しい手法を用いて、シミュレーションで学習したスキルを物理的な世界へと転送するために、人間のようなロボットハンドを使用してルービックキューブを解くニューラルネットワークのペアを訓練しました。
OpenAI Scholars 2020 Program Applications
OpenAIは、過小評価されているグループに属する8名に対し、ディープラーニングを学習し、プロジェクトをオープンソース化するための奨学金とメンターシップを提供する4ヶ月間のプログラム、第3期OpenAI Scholarsの応募受付を開始しました。
人間の好みに基づくGPT-2のファインチューニング
OpenAIは、スタイリッシュなテキスト継続と要約の向上を目指して、人間のフィードバックを用いて774MパラメータのGPT-2モデルをファインチューニングしました。その過程で、人間のラベル付け作業者が、新規な合成よりも正確なコピーを好む傾向があることを発見しました。
OpenAI マルチエージェント相互作用から生じるツール使用の発現
OpenAIの研究者は、シミュレートされた隠れんぼゲームでプレイするエージェントが、マルチエージェント共適応とセルフプレイを通じて、6つの異なるレベルの複雑なツール使用と戦略を開発したことを発見しました。
OpenAI、予期せぬ敵対的攻撃に対する堅牢性をテスト中
OpenAIは、ニューラルネットワーク分類器が、トレーニング中に遭遇していない敵対的攻撃に対してどの程度うまく防御できるかを評価するために、新しい指標であるUnforeseen Attack Robustness (UAR)を導入しました。
GPT-2 6ヶ月後のフォローアップ
OpenAIは774MパラメータのGPT-2モデルをリリースし、合成テキストのリスク、検出の難しさ、および大規模言語モデルの段階的なリリース戦略の必要性に関する教訓を共有しました。
OpenAI Learning Day: クロスファンクショナルな専門性を育む
OpenAIは、毎週木曜日に専用の自己学習日であるLearning Dayを導入し、クロスファンクショナルな技術的成長を促進し、職業的停滞を防いでいます。
MicrosoftとOpenAIによるAGI開発のためのパートナーシップ
Microsoftは、有益な汎用人工知能（AGI）の構築に向けてスケールするように設計された、Azure上のハードウェアおよびソフトウェアプラットフォームを共同開発するため、OpenAIに10億ドルを投資しました。
OpenAI Framework for AI Safety Cooperation
OpenAIは、業界全体で安全性に関する規範と基準の協力関係を促進することで、AI開発における集団的行動問題を回避するための4つの戦略を提案しています。
OpenAI ロボティクス シンポジウム 2019
OpenAI は 2019 年 4 月 27 日に初めてのロボティクス シンポジウムを開催し、ロボットと機械学習の専門家を集めて、学習するロボットの開発について議論しました。
OpenAI Scholars 2019 最終プロジェクト
OpenAIは、2019 OpenAI Scholarsプログラムの最終プロジェクトのサマリーをリリースし、さまざまな分野におけるディープラーニング、強化学習、NLPの多様な応用を紹介しました。
OpenAI Fellows Fall 2018 Final Projects
OpenAIは、第2期のOpenAI Fellowsの修了を発表しました。6ヶ月間の見習い期間を経て、参加者6名全員が技術スタッフのフルタイムメンバーへと移行しました。
OpenAI Research: 摂動タイプ間における敵対的堅牢性の転移
OpenAIの研究者は、敵対的堅牢性が異なる摂動タイプ間で一貫して転移しないことを発見しました。これは、防御策が真に効果的であるためには、多様な攻撃ベクトルに対して評価される必要があることを示唆しています。