OpenAI 言語モデルの安全性と悪用に関する教訓
OpenAIは、GPT-3およびCodexのデプロイメントから得られた洞察を共有しており、現実世界の悪用は理論的なリスクとは異なる場合が多いこと、そして安全性研究が商業的有用性を高めることが多いという点を強調しています。
BERT 101: トランスフォーマーからの双方向エンコーダ表現の理解
BERTはGoogle AI Languageが開発した双方向トランスフォーマーベースのモデルで、膨大なデータセットでの教師なし事前学習を活用し、11以上の一般的なNLPタスクで最先端の性能を達成します。
Hugging Face Transformersを使用した画像分類のためのVision Transformer (ViT) のファインチューニング
Hugging Faceは、datasetsおよびtransformersライブラリを使用して、画像分類のためのVision Transformer (ViT) モデルをファインチューニングするためのガイドを提供しており、beansデータセットを使用してそのプロセスを実演しています。
OpenAI Formal Math Olympiad Problem Solving
OpenAIは、形式的な証明アシスタントを使用して、AMC12、AIME、およびIMOといった競技会の形式的な数学オリンピック問題を解くモデルの能力を実証しました。
Pythonを使用した感情分析の始め方
Hugging Faceは、Hugging Face Hubからの学習済みモデル、微調整のためのTrainer API、およびノーコードのAutoNLPツールを活用して、Pythonを使用した感情分析を実装するための包括的なガイドを提供しています。
TransformersにおけるWav2Vec2を使用した大容量ファイル向け自動音声認識
Hugging Faceは、Wav2Vec2のConnectionist Temporal Classification (CTC) アーキテクチャを活用したストライディング技術を実装し、任意の長さの音声ファイルやライブ推論における高品質なASRを可能にします。
OpenAI InstructGPT: 言語モデルを指示に従うように調整する
OpenAIは、GPT-3と比較して、ユーザーの意図をより良く理解し、真実性を高め、有害性を低減するために、人間からのフィードバックによる強化学習（RLHF）を用いて訓練された一連のモデル、InstructGPTを導入しました。
OpenAI Text and Code Embeddings Release
OpenAIは、GPT-3の派生モデルに基づいた新しい埋め込みモデルのセットをリリースしました。これらは、テキストとコードの数値表現を提供し、意味的な検索、クラスタリング、およびコードの検索を向上させます。
Hugging Face Hub Search API Updates
Hugging Faceは、ModelSearchArgumentsやModelFilterを含む、huggingface_hubライブラリへの新しいプログラムによる検索機能を紹介しました。これにより、ユーザーがIDEを離れることなく、モデルやデータセットを簡単に見つけられるようになります。
対照学習による事前学習によるOpenAIのテキストおよびコードのEmbeddings
OpenAIは、大規模な教師なしデータに対する対照学習による事前学習を用いて、高品質なテキストおよびコードのembeddingsが生成される手法を開発しました。これにより、線形プローブ分類やセマンティック検索において最先端の結果を達成しています。
Stable-Baselines3 と Hugging Face Hub の統合
Hugging Face は Stable-Baselines3 を統合し、ユーザーが PyTorch Deep Reinforcement Learning モデルを Hugging Face Hub から直接ホスト、共有、およびロードできるようにしました。
Hugging Face Infinity CPU パフォーマンス ケーススタディ
Hugging Face Infinity は、Intel Ice Lake Xeon CPU において vanilla Transformers と比較して最大 800% 高いスループットとミリ秒単位のレイテンシを実現し、CPU インフラストラクチャ上でのコスト効率の高いリアルタイム Transformer デプロイメントを可能にします。
Hugging Face Transformersにおけるn-gramによるWav2Vec2の強化
Hugging Faceは、pyctcdecodeライブラリをTransformersライブラリに統合し、Wav2Vec2モデルをn-gram言語モデルで強化することで、スペルミスと単語誤り率（WER）を大幅に減少させることが可能になりました。
Amazon SageMaker で Hugging Face Transformers を使用して GPT-J 6B をデプロイする
Hugging Face は、torch.save を使用して EleutherAI の GPT-J 6B モデルを Amazon SageMaker にデプロイする方法を提供しており、モデルのロード時間を 3 分以上から 8 秒未満に短縮できます。
AutoNLPとProdigyによるアクティブラーニング
Hugging Faceは、AutoNLP自動トレーニングフレームワークとProdigyアノテーションツールを組み合わせることで、命名エンティティ認識（NER）のためのアクティブラーニング・パイプラインを構築する方法を実証しています。
Hugging Face が Gradio を買収
Hugging Face は、機械学習のデモと GUI を簡単に構築できるように統合し、エコシステムに組み込むことで、非技術者にも ML のアクセシビリティを拡張するために Gradio を買収しました。
WebGPT: WebブラウジングによるGPT-3の事実正確性の向上
OpenAIは、GPT-3をWebGPTへとファインチューニングしました。これは、テキストベースのWebブラウザを使用して情報を調査し、出典を引用することで、オープンエンドな質問への回答におけるハルシネーションを低減するプロトタイプです。
Perceiver IO: あらゆるモダリティに対応するスケーラブルで完全アテンション型のモデル
Perceiver IOは、潜在空間を使用することで計算量を入力サイズから切り離し、テキスト、画像、音声、ビデオ、ポイントクラウドを二次的なスケーリング問題なしに処理することを可能にするTransformerベースのアーキテクチャです。
アプリケーション向けにGPT-3をカスタマイズする
OpenAIはGPT-3のファインチューニング機能を提供開始し、開発者が独自のデータを使用してモデルをトレーニングすることで、信頼性の向上、コスト削減、およびレイテンシの改善を実現できるようにしました。
CodeParrotをスクラッチからトレーニングする
Hugging Faceは、Pythonコードのオートコンプリート機能を可能にするため、2,000万個のPythonファイルのクリーニング済みデータセットでスクラッチからトレーニングされたGPT-2ベースのモデル、CodeParrotを導入しました。
Hugging Face Snowball Fight ML-Agents環境
Hugging Faceは、Unity ML-Agentsで構築され、Hugging Face Spacesでホストされている最初のカスタムDeep Reinforcement Learning環境であるSnowball Fight 1vs1をリリースしました。
OpenAI Residency Program Announcement
OpenAIは、他の分野の研究者やエンジニアを同社のフルタイムのAI職務へと移行させるために設計された、6ヶ月間の有償プログラム「OpenAI Residency」を開始しました。
Graphcore IPU統合のためのHugging Face Optimum
Hugging Faceは、最適化されたBERTの実装から始まり、Transformerモデルを加速させるためにOptimumライブラリをGraphcore Intelligence Processing Units (IPUs)と統合しました。
Hugging Face データ測定ツール
Hugging Faceは、オープンソースのPythonライブラリおよびノーコードインターフェースであるData Measurements Toolをリリースしました。これにより、開発者はより責任あるAI開発のためにMLデータセットを分析、キュレート、比較することができます。
Intel Technologies による PyTorch 分散ファインチューニングの加速
Hugging Face は、Intel extension for PyTorch と oneCCL を使用して、Intel Xeon Scalable CPU サーバーのクラスターにファインチューニング・ジョブを分散させることで、PyTorch トレーニングを加速する方法を実証しています。
OpenAI API アクセス: GPT-3 ウェイトリスト 削除
OpenAI は、サポートされている国の開発者がすぐにサインアップして実験を開始できるように、GPT-3 API のウェイトリストを削除しました。
低リソース音声認識のためのXLS-Rファインチューニング
Hugging Faceは、Transformersライブラリを使用して低リソース音声認識（ASR）のためのクロスリンガル音声表現モデルXLS-Rのファインチューニングに関する技術ガイドを提供します。
モダンなCPUにおけるBERTライクなモデルの推論のスケーリング - パート2
Hugging Faceは、Intel Ice Lake Xeon CPU上でのBERTライクなモデルのソフトウェアレベルの最適化を調査し、メモリ割り当て器、並列化ライブラリ、およびベイズ最適化を使用することで、推論レイテンシを大幅に削減できることを示しました。
OpenAIによる算数の文章題の解決とGSM8Kデータセット
OpenAIは、トレーニング済みの検証器を使用して、微調整されたGPT-3のほぼ2倍の精度で小学校レベルの算数の文章題を解決するシステムを開発しました。9〜12歳の子どもの60%の精度と比較して、55%の精度を達成しました。
Hugging Face コース Part 2 とコミュニティイベントの開始
Hugging Face は 2021 年 11 月 15 日に Hugging Face コースの Part 2 をリリースし、技術的な講演と実践的なプロジェクトを特徴とするコミュニティイベントを開催しました。
大規模言語モデル：新たなムーアの法則か？
Hugging Faceは、530BパラメータのMegatron-Turing NLGのようなモデルサイズの指数関数的な増大傾向を批判し、蒸留やファインチューニングのような実用的で効率的な代替案を推奨しています。
10億のトレーニングペアを用いたHugging Face Sentence Embedding Models
Hugging Faceは、JAX/FlaxおよびTPUインフラストラクチャを使用して、最大10億の文ペアを用いてトレーニングを行うことで、最先端の汎用文埋め込み（sentence embedding）モデルを開発しました。
Hugging Face: Machine Learning as Code の時代
Hugging Face は、MLOps を採用し、汎用的な Transformer アーキテクチャを活用し、サンドボックスでの実験よりもプロダクションへのデプロイを優先することで、機械学習をソフトウェアエンジニアリングの規律として扱うことを提唱しています。
CLIPのファインチューニング: リモートセンシングおよび衛星画像向け
研究チームは、RSICDデータセットおよびその他の衛星画像を使用してOpenAIのCLIPモデルをファインチューニングし、リモートセンシングアプリケーションにおけるテキストから画像への検索を大幅に向上させた。
Hugging Face Spaces と Gradio の統合
Hugging Face は Gradio を Spaces に統合し、ユーザーが Inference API またはカスタムモデルチェックポイントを使用して、機械学習モデルのデモを簡単にホストして公開できるようにしました。
Streamlitを使用したHugging Face Spacesでのモデルとデータセットのホスティング
Hugging Face SpacesはStreamlitと統合されており、ユーザーが機械学習モデルやデータの可視化のためのインタラクティブなデモを迅速に構築し、ホストすることを可能にします。
Hugging Face Summer 2021 Update
Hugging Faceは、MLデモホスティングのためのSpaces Beta、TensorBoard統合、およびハードウェアアクセラレーション用のOptimumライブラリのローンチを含む一連のHub拡張を発表しました。
OpenAI 人間のフィードバックを使った書籍の要約 (2021)
OpenAIは、人間のフィードバックからの強化学習と再帰的タスク分解を組み合わせた技術を導入し、評価が難しいタスクにおけるAIの監督というアライメントの課題に対処しながら、書籍全体の要約を生成しました。
Hugging Face Optimum リリース
Hugging Faceは、さまざまなハードウェアプラットフォームにわたってTransformerモデルをプロダクションパフォーマンス向けに最適化するために設計されたオープンソースのツールキット、Optimumを導入しました。
Hugging FaceとGraphcoreのIPU最適化Transformerに関するパートナーシップ
Hugging FaceとGraphcoreは、Hardware Partner ProgramとOptimumライブラリを通じて、Intelligence Processing Units (IPUs) をHugging Faceのエコシステムに統合し、Transformerモデルのデプロイを加速させるために提携しました。
TruthfulQA: モデルがどのように人間の誤った情報を模倣するかを測定する
OpenAIは、38のカテゴリにわたって言語モデルが一般的な人間の誤解や誤った情報を模倣しているかどうかを測定するために設計されたベンチマーク、TruthfulQAを導入しました。
Helen Toner joins OpenAI board of directors
OpenAIは、安全で責任あるAI展開へのコミットメントを強化するため、2021年9月8日にAI政策とグローバル戦略の専門家であるHelen Tonerを理事会に任命しました。
OpenAI Codex: コード生成のための GPT-3 の後継モデル
OpenAI Codex は、自然言語と数十億行の公開ソースコードの両方でトレーニングされた GPT-3 の後継モデルであり、英語のコマンドから動作するコードの生成を可能にします。
OpenAI Triton 1.0 リリース
OpenAIは、研究者が深いCUDAの専門知識なしに、非常に効率的なGPUカーネルを記述できるようにする、オープンソースのPythonライクな言語およびコンパイラであるTriton 1.0をリリースしました。
Hugging Face DeDLOC: インターネットを介した言語モデルの共同トレーニング
Hugging Faceは、ネットワークやハードウェアの制約に適応することで、ボランティアがインターネットを介して大規模言語モデルを共同で事前学習することを可能にする分散トレーニング手法、DeDLOCを導入しました。
spaCy Integration with Hugging Face Hub
Hugging FaceはspaCyをHugging Face Hubに統合し、ユーザーが統一されたプラットフォームを介してspaCyパイプラインを共有、発見、デプロイできるようにしました。
Amazon SageMaker で Hugging Face モデルを簡単にデプロイする
Hugging Face と Amazon SageMaker は、新しい推論 Deep Learning コンテナ (DLC) と推論ツールキットを導入し、Transformer モデルを本番環境のエンドポイントにデプロイする作業を簡素化しました。
コードでトレーニングされた大規模言語モデルの評価: OpenAI Codex
OpenAIは、GitHubのコードで微調整されたGPTモデルであるCodexを導入しました。これは、HumanEval問題の28.8%を1回の試行で解決し、繰り返しサンプリングを使用すると最大70.2%を解決します。
Hugging Face Hub における Sentence Transformers の統合
Hugging Face は Sentence Transformers を Hub に統合し、100 以上の言語に対応する 90 以上の学習済みモデルと、特徴抽出および文章の類似性のための新しいインタラクティブなウィジェットを提供します。
OpenAI Research: 厳選されたデータセットのファインチューニングによる言語モデルの振る舞いの改善
OpenAIの研究者たちは、100例未満の小規模で厳選されたデータセットでGPT-3をファインチューニングすることで、ダウンストリームのパフォーマンスを損なうことなく、モデルが特定の行動的価値観に沿うようにすることを大幅に改善できることを見出しました。