Hugging Face Transformersにおけるn-gramによるWav2Vec2の強化
Hugging Faceは、pyctcdecodeライブラリをTransformersライブラリに統合し、Wav2Vec2モデルをn-gram言語モデルで強化することで、スペルミスと単語誤り率（WER）を大幅に減少させることが可能になりました。
Amazon SageMaker で Hugging Face Transformers を使用して GPT-J 6B をデプロイする
Hugging Face は、torch.save を使用して EleutherAI の GPT-J 6B モデルを Amazon SageMaker にデプロイする方法を提供しており、モデルのロード時間を 3 分以上から 8 秒未満に短縮できます。
AutoNLPとProdigyによるアクティブラーニング
Hugging Faceは、AutoNLP自動トレーニングフレームワークとProdigyアノテーションツールを組み合わせることで、命名エンティティ認識（NER）のためのアクティブラーニング・パイプラインを構築する方法を実証しています。
Hugging Face が Gradio を買収
Hugging Face は、機械学習のデモと GUI を簡単に構築できるように統合し、エコシステムに組み込むことで、非技術者にも ML のアクセシビリティを拡張するために Gradio を買収しました。
WebGPT: WebブラウジングによるGPT-3の事実正確性の向上
OpenAIは、GPT-3をWebGPTへとファインチューニングしました。これは、テキストベースのWebブラウザを使用して情報を調査し、出典を引用することで、オープンエンドな質問への回答におけるハルシネーションを低減するプロトタイプです。
Perceiver IO: あらゆるモダリティに対応するスケーラブルで完全アテンション型のモデル
Perceiver IOは、潜在空間を使用することで計算量を入力サイズから切り離し、テキスト、画像、音声、ビデオ、ポイントクラウドを二次的なスケーリング問題なしに処理することを可能にするTransformerベースのアーキテクチャです。
アプリケーション向けにGPT-3をカスタマイズする
OpenAIはGPT-3のファインチューニング機能を提供開始し、開発者が独自のデータを使用してモデルをトレーニングすることで、信頼性の向上、コスト削減、およびレイテンシの改善を実現できるようにしました。
CodeParrotをスクラッチからトレーニングする
Hugging Faceは、Pythonコードのオートコンプリート機能を可能にするため、2,000万個のPythonファイルのクリーニング済みデータセットでスクラッチからトレーニングされたGPT-2ベースのモデル、CodeParrotを導入しました。
Hugging Face Snowball Fight ML-Agents環境
Hugging Faceは、Unity ML-Agentsで構築され、Hugging Face Spacesでホストされている最初のカスタムDeep Reinforcement Learning環境であるSnowball Fight 1vs1をリリースしました。
OpenAI Residency Program Announcement
OpenAIは、他の分野の研究者やエンジニアを同社のフルタイムのAI職務へと移行させるために設計された、6ヶ月間の有償プログラム「OpenAI Residency」を開始しました。
Graphcore IPU統合のためのHugging Face Optimum
Hugging Faceは、最適化されたBERTの実装から始まり、Transformerモデルを加速させるためにOptimumライブラリをGraphcore Intelligence Processing Units (IPUs)と統合しました。
Hugging Face データ測定ツール
Hugging Faceは、オープンソースのPythonライブラリおよびノーコードインターフェースであるData Measurements Toolをリリースしました。これにより、開発者はより責任あるAI開発のためにMLデータセットを分析、キュレート、比較することができます。
Intel Technologies による PyTorch 分散ファインチューニングの加速
Hugging Face は、Intel extension for PyTorch と oneCCL を使用して、Intel Xeon Scalable CPU サーバーのクラスターにファインチューニング・ジョブを分散させることで、PyTorch トレーニングを加速する方法を実証しています。
OpenAI API アクセス: GPT-3 ウェイトリスト 削除
OpenAI は、サポートされている国の開発者がすぐにサインアップして実験を開始できるように、GPT-3 API のウェイトリストを削除しました。
低リソース音声認識のためのXLS-Rファインチューニング
Hugging Faceは、Transformersライブラリを使用して低リソース音声認識（ASR）のためのクロスリンガル音声表現モデルXLS-Rのファインチューニングに関する技術ガイドを提供します。
モダンなCPUにおけるBERTライクなモデルの推論のスケーリング - パート2
Hugging Faceは、Intel Ice Lake Xeon CPU上でのBERTライクなモデルのソフトウェアレベルの最適化を調査し、メモリ割り当て器、並列化ライブラリ、およびベイズ最適化を使用することで、推論レイテンシを大幅に削減できることを示しました。
OpenAIによる算数の文章題の解決とGSM8Kデータセット
OpenAIは、トレーニング済みの検証器を使用して、微調整されたGPT-3のほぼ2倍の精度で小学校レベルの算数の文章題を解決するシステムを開発しました。9〜12歳の子どもの60%の精度と比較して、55%の精度を達成しました。
Hugging Face コース Part 2 とコミュニティイベントの開始
Hugging Face は 2021 年 11 月 15 日に Hugging Face コースの Part 2 をリリースし、技術的な講演と実践的なプロジェクトを特徴とするコミュニティイベントを開催しました。
大規模言語モデル：新たなムーアの法則か？
Hugging Faceは、530BパラメータのMegatron-Turing NLGのようなモデルサイズの指数関数的な増大傾向を批判し、蒸留やファインチューニングのような実用的で効率的な代替案を推奨しています。
10億のトレーニングペアを用いたHugging Face Sentence Embedding Models
Hugging Faceは、JAX/FlaxおよびTPUインフラストラクチャを使用して、最大10億の文ペアを用いてトレーニングを行うことで、最先端の汎用文埋め込み（sentence embedding）モデルを開発しました。
Hugging Face: Machine Learning as Code の時代
Hugging Face は、MLOps を採用し、汎用的な Transformer アーキテクチャを活用し、サンドボックスでの実験よりもプロダクションへのデプロイを優先することで、機械学習をソフトウェアエンジニアリングの規律として扱うことを提唱しています。
CLIPのファインチューニング: リモートセンシングおよび衛星画像向け
研究チームは、RSICDデータセットおよびその他の衛星画像を使用してOpenAIのCLIPモデルをファインチューニングし、リモートセンシングアプリケーションにおけるテキストから画像への検索を大幅に向上させた。
Hugging Face Spaces と Gradio の統合
Hugging Face は Gradio を Spaces に統合し、ユーザーが Inference API またはカスタムモデルチェックポイントを使用して、機械学習モデルのデモを簡単にホストして公開できるようにしました。
Streamlitを使用したHugging Face Spacesでのモデルとデータセットのホスティング
Hugging Face SpacesはStreamlitと統合されており、ユーザーが機械学習モデルやデータの可視化のためのインタラクティブなデモを迅速に構築し、ホストすることを可能にします。
Hugging Face Summer 2021 Update
Hugging Faceは、MLデモホスティングのためのSpaces Beta、TensorBoard統合、およびハードウェアアクセラレーション用のOptimumライブラリのローンチを含む一連のHub拡張を発表しました。
OpenAI 人間のフィードバックを使った書籍の要約 (2021)
OpenAIは、人間のフィードバックからの強化学習と再帰的タスク分解を組み合わせた技術を導入し、評価が難しいタスクにおけるAIの監督というアライメントの課題に対処しながら、書籍全体の要約を生成しました。
Hugging Face Optimum リリース
Hugging Faceは、さまざまなハードウェアプラットフォームにわたってTransformerモデルをプロダクションパフォーマンス向けに最適化するために設計されたオープンソースのツールキット、Optimumを導入しました。
Hugging FaceとGraphcoreのIPU最適化Transformerに関するパートナーシップ
Hugging FaceとGraphcoreは、Hardware Partner ProgramとOptimumライブラリを通じて、Intelligence Processing Units (IPUs) をHugging Faceのエコシステムに統合し、Transformerモデルのデプロイを加速させるために提携しました。
TruthfulQA: モデルがどのように人間の誤った情報を模倣するかを測定する
OpenAIは、38のカテゴリにわたって言語モデルが一般的な人間の誤解や誤った情報を模倣しているかどうかを測定するために設計されたベンチマーク、TruthfulQAを導入しました。
Helen Toner joins OpenAI board of directors
OpenAIは、安全で責任あるAI展開へのコミットメントを強化するため、2021年9月8日にAI政策とグローバル戦略の専門家であるHelen Tonerを理事会に任命しました。
OpenAI Codex: コード生成のための GPT-3 の後継モデル
OpenAI Codex は、自然言語と数十億行の公開ソースコードの両方でトレーニングされた GPT-3 の後継モデルであり、英語のコマンドから動作するコードの生成を可能にします。
OpenAI Triton 1.0 リリース
OpenAIは、研究者が深いCUDAの専門知識なしに、非常に効率的なGPUカーネルを記述できるようにする、オープンソースのPythonライクな言語およびコンパイラであるTriton 1.0をリリースしました。
Hugging Face DeDLOC: インターネットを介した言語モデルの共同トレーニング
Hugging Faceは、ネットワークやハードウェアの制約に適応することで、ボランティアがインターネットを介して大規模言語モデルを共同で事前学習することを可能にする分散トレーニング手法、DeDLOCを導入しました。
spaCy Integration with Hugging Face Hub
Hugging FaceはspaCyをHugging Face Hubに統合し、ユーザーが統一されたプラットフォームを介してspaCyパイプラインを共有、発見、デプロイできるようにしました。
Amazon SageMaker で Hugging Face モデルを簡単にデプロイする
Hugging Face と Amazon SageMaker は、新しい推論 Deep Learning コンテナ (DLC) と推論ツールキットを導入し、Transformer モデルを本番環境のエンドポイントにデプロイする作業を簡素化しました。
コードでトレーニングされた大規模言語モデルの評価: OpenAI Codex
OpenAIは、GitHubのコードで微調整されたGPTモデルであるCodexを導入しました。これは、HumanEval問題の28.8%を1回の試行で解決し、繰り返しサンプリングを使用すると最大70.2%を解決します。
Hugging Face Hub における Sentence Transformers の統合
Hugging Face は Sentence Transformers を Hub に統合し、100 以上の言語に対応する 90 以上の学習済みモデルと、特徴抽出および文章の類似性のための新しいインタラクティブなウィジェットを提供します。
OpenAI Research: 厳選されたデータセットのファインチューニングによる言語モデルの振る舞いの改善
OpenAIの研究者たちは、100例未満の小規模で厳選されたデータセットでGPT-3をファインチューニングすることで、ダウンストリームのパフォーマンスを損なうことなく、モデルが特定の行動的価値観に沿うようにすることを大幅に改善できることを見出しました。
GPT-NeoとHugging Face Accelerated Inference APIを使用したFew-Shot Learning
Hugging Faceは、オープンソースのGPT-NeoモデルとAccelerated Inference APIを使用して、広範なラベル付きデータなしでタスクの汎化を可能にするFew-Shot Learningの適用について探求しています。
Gradio 2.0 を使用した Hugging Face モデルの使用と混合
Gradio 2.0 により、機械学習開発者は Hugging Face モデルを一行のコードで GUI としてロードおよび展開することができ、並列および直列のモデル構成をサポートしています。
OpenAI Scholars 2021: 最終プロジェクト
OpenAIは、2021 Scholarsプログラムの最終プロジェクトを発表しました。多様な研究者グループによるスケーリング法則、報酬モデリング、強化学習の研究が特徴です。
Will Hurd が OpenAI の取締役会に加入
OpenAI は、公共政策の専門知識を技術的な AI 開発と統合するために、元米国下院議員の Will Hurd を取締役会に任命しました。
CPU上でのBERT推論のスケーリング (Part 1)
Hugging Face は、最新の CPU 上での BERT 推論のスループットを、NUMA を意識したアフィニティ設定を介して特定の物理コアにバインドされた複数の独立したモデルインスタンスを使用することで、線形にスケーリングできることを示しています。
Hugging Face Accelerate ライブラリのリリース
Hugging Face は、ボイラープレートコードを書き直すことなく、マルチ GPU や TPU を含むあらゆるデバイス構成上で生のトレーニング・スクリプトを実行できるようにする PyTorch ライブラリ、Accelerate をリリースしました。
Hugging FaceとAmazon SageMakerを使用した、要約のためのBARTおよびT5の分散トレーニング
Hugging FaceとAmazon SageMakerは、最適化されたDeep Learning Containersと専用のHuggingFace estimatorを提供することで、BARTやT5のようなTransformersモデルの分散トレーニングを簡素化するために統合されました。
BigBirdのブロック疎なアテンションの理解
BigBirdは、Transformerの計算量を二次関数から線形に削減するためにブロック疎なアテンションを導入し、最大4096トークンのシーケンス処理を可能にします。
GPT-3 API Ecosystem and Application Growth
OpenAIは、300以上のアプリケーションと数万人の開発者が、多様な業界においてGPT-3を利用し、1日平均45億語を生成していると報告しています。
Amazon SageMakerとHugging Faceのパートナーシップ
Hugging FaceとAmazonは、専用のDeep Learning Containers (DLCs)とPython SDKの拡張機能を通じてHugging Face TransformersをAmazon SageMakerに統合し、NLPモデルのトレーニングとデプロイを加速させるためのパートナーシップを締結しました。
Google Cloud Run に Hugging Face Transformers の感情分析パイプラインをデプロイする
コミュニティメンバーが、DistilBERT モデルを使用して Hugging Face の感情分析パイプラインを Google Cloud Run に提供する方法を実演し、月間最小限のコストで 5 秒未満のレイテンシを実現しました。
Hugging Face Transformers を使用した英語 ASR 向け Wav2Vec2 のファインチューニング
Hugging Face は、Connectionist Temporal Classification (CTC) 損失を使用して英語の自動音声認識 (ASR) 向けに事前学習済み Wav2Vec2 音声モデルをファインチューンする詳細なガイドを提供しています。