✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 3,432 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
アプリケーション向けにGPT-3をカスタマイズする
OpenAIはGPT-3のファインチューニング機能を提供開始し、開発者が独自のデータを使用してモデルをトレーニングすることで、信頼性の向上、コスト削減、およびレイテンシの改善を実現できるようにしました。
CodeParrotをスクラッチからトレーニングする
Hugging Faceは、Pythonコードのオートコンプリート機能を可能にするため、2,000万個のPythonファイルのクリーニング済みデータセットでスクラッチからトレーニングされたGPT-2ベースのモデル、CodeParrotを導入しました。
Hugging Face Snowball Fight ML-Agents環境
Hugging Faceは、Unity ML-Agentsで構築され、Hugging Face Spacesでホストされている最初のカスタムDeep Reinforcement Learning環境であるSnowball Fight 1vs1をリリースしました。
Anthropic Research: A General Language Assistant as a Laboratory for Alignment
Anthropicは、役に立ち、誠実で、無害な汎用言語アシスタントを作成する方法を探索しており、ランク付けされた好みのモデリングが、模倣学習や二値識別よりも効果的にスケールすることを発見しました。
OpenAI Residency Program Announcement
OpenAIは、他の分野の研究者やエンジニアを同社のフルタイムのAI職務へと移行させるために設計された、6ヶ月間の有償プログラム「OpenAI Residency」を開始しました。
Graphcore IPU統合のためのHugging Face Optimum
Hugging Faceは、最適化されたBERTの実装から始まり、Transformerモデルを加速させるためにOptimumライブラリをGraphcore Intelligence Processing Units (IPUs)と統合しました。
Hugging Face データ測定ツール
Hugging Faceは、オープンソースのPythonライブラリおよびノーコードインターフェースであるData Measurements Toolをリリースしました。これにより、開発者はより責任あるAI開発のためにMLデータセットを分析、キュレート、比較することができます。
Intel Technologies による PyTorch 分散ファインチューニングの加速
Hugging Face は、Intel extension for PyTorch と oneCCL を使用して、Intel Xeon Scalable CPU サーバーのクラスターにファインチューニング・ジョブを分散させることで、PyTorch トレーニングを加速する方法を実証しています。
OpenAI API アクセス: GPT-3 ウェイトリスト 削除
OpenAI は、サポートされている国の開発者がすぐにサインアップして実験を開始できるように、GPT-3 API のウェイトリストを削除しました。
低リソース音声認識のためのXLS-Rファインチューニング
Hugging Faceは、Transformersライブラリを使用して低リソース音声認識（ASR）のためのクロスリンガル音声表現モデルXLS-Rのファインチューニングに関する技術ガイドを提供します。
モダンなCPUにおけるBERTライクなモデルの推論のスケーリング - パート2
Hugging Faceは、Intel Ice Lake Xeon CPU上でのBERTライクなモデルのソフトウェアレベルの最適化を調査し、メモリ割り当て器、並列化ライブラリ、およびベイズ最適化を使用することで、推論レイテンシを大幅に削減できることを示しました。
OpenAIによる算数の文章題の解決とGSM8Kデータセット
OpenAIは、トレーニング済みの検証器を使用して、微調整されたGPT-3のほぼ2倍の精度で小学校レベルの算数の文章題を解決するシステムを開発しました。9〜12歳の子どもの60%の精度と比較して、55%の精度を達成しました。
Hugging Face コース Part 2 とコミュニティイベントの開始
Hugging Face は 2021 年 11 月 15 日に Hugging Face コースの Part 2 をリリースし、技術的な講演と実践的なプロジェクトを特徴とするコミュニティイベントを開催しました。
大規模言語モデル：新たなムーアの法則か？
Hugging Faceは、530BパラメータのMegatron-Turing NLGのようなモデルサイズの指数関数的な増大傾向を批判し、蒸留やファインチューニングのような実用的で効率的な代替案を推奨しています。
10億のトレーニングペアを用いたHugging Face Sentence Embedding Models
Hugging Faceは、JAX/FlaxおよびTPUインフラストラクチャを使用して、最大10億の文ペアを用いてトレーニングを行うことで、最先端の汎用文埋め込み（sentence embedding）モデルを開発しました。
Hugging Face: Machine Learning as Code の時代
Hugging Face は、MLOps を採用し、汎用的な Transformer アーキテクチャを活用し、サンドボックスでの実験よりもプロダクションへのデプロイを優先することで、機械学習をソフトウェアエンジニアリングの規律として扱うことを提唱しています。
CLIPのファインチューニング: リモートセンシングおよび衛星画像向け
研究チームは、RSICDデータセットおよびその他の衛星画像を使用してOpenAIのCLIPモデルをファインチューニングし、リモートセンシングアプリケーションにおけるテキストから画像への検索を大幅に向上させた。
Hugging Face Spaces と Gradio の統合
Hugging Face は Gradio を Spaces に統合し、ユーザーが Inference API またはカスタムモデルチェックポイントを使用して、機械学習モデルのデモを簡単にホストして公開できるようにしました。
Streamlitを使用したHugging Face Spacesでのモデルとデータセットのホスティング
Hugging Face SpacesはStreamlitと統合されており、ユーザーが機械学習モデルやデータの可視化のためのインタラクティブなデモを迅速に構築し、ホストすることを可能にします。
Hugging Face Summer 2021 Update
Hugging Faceは、MLデモホスティングのためのSpaces Beta、TensorBoard統合、およびハードウェアアクセラレーション用のOptimumライブラリのローンチを含む一連のHub拡張を発表しました。
OpenAI 人間のフィードバックを使った書籍の要約 (2021)
OpenAIは、人間のフィードバックからの強化学習と再帰的タスク分解を組み合わせた技術を導入し、評価が難しいタスクにおけるAIの監督というアライメントの課題に対処しながら、書籍全体の要約を生成しました。
Hugging Face Optimum リリース
Hugging Faceは、さまざまなハードウェアプラットフォームにわたってTransformerモデルをプロダクションパフォーマンス向けに最適化するために設計されたオープンソースのツールキット、Optimumを導入しました。
Hugging FaceとGraphcoreのIPU最適化Transformerに関するパートナーシップ
Hugging FaceとGraphcoreは、Hardware Partner ProgramとOptimumライブラリを通じて、Intelligence Processing Units (IPUs) をHugging Faceのエコシステムに統合し、Transformerモデルのデプロイを加速させるために提携しました。
TruthfulQA: モデルがどのように人間の誤った情報を模倣するかを測定する
OpenAIは、38のカテゴリにわたって言語モデルが一般的な人間の誤解や誤った情報を模倣しているかどうかを測定するために設計されたベンチマーク、TruthfulQAを導入しました。
Helen Toner joins OpenAI board of directors
OpenAIは、安全で責任あるAI展開へのコミットメントを強化するため、2021年9月8日にAI政策とグローバル戦略の専門家であるHelen Tonerを理事会に任命しました。
OpenAI Codex: コード生成のための GPT-3 の後継モデル
OpenAI Codex は、自然言語と数十億行の公開ソースコードの両方でトレーニングされた GPT-3 の後継モデルであり、英語のコマンドから動作するコードの生成を可能にします。
OpenAI Triton 1.0 リリース
OpenAIは、研究者が深いCUDAの専門知識なしに、非常に効率的なGPUカーネルを記述できるようにする、オープンソースのPythonライクな言語およびコンパイラであるTriton 1.0をリリースしました。
Hugging Face DeDLOC: インターネットを介した言語モデルの共同トレーニング
Hugging Faceは、ネットワークやハードウェアの制約に適応することで、ボランティアがインターネットを介して大規模言語モデルを共同で事前学習することを可能にする分散トレーニング手法、DeDLOCを導入しました。
spaCy Integration with Hugging Face Hub
Hugging FaceはspaCyをHugging Face Hubに統合し、ユーザーが統一されたプラットフォームを介してspaCyパイプラインを共有、発見、デプロイできるようにしました。
Amazon SageMaker で Hugging Face モデルを簡単にデプロイする
Hugging Face と Amazon SageMaker は、新しい推論 Deep Learning コンテナ (DLC) と推論ツールキットを導入し、Transformer モデルを本番環境のエンドポイントにデプロイする作業を簡素化しました。
コードでトレーニングされた大規模言語モデルの評価: OpenAI Codex
OpenAIは、GitHubのコードで微調整されたGPTモデルであるCodexを導入しました。これは、HumanEval問題の28.8%を1回の試行で解決し、繰り返しサンプリングを使用すると最大70.2%を解決します。
Hugging Face Hub における Sentence Transformers の統合
Hugging Face は Sentence Transformers を Hub に統合し、100 以上の言語に対応する 90 以上の学習済みモデルと、特徴抽出および文章の類似性のための新しいインタラクティブなウィジェットを提供します。
OpenAI Research: 厳選されたデータセットのファインチューニングによる言語モデルの振る舞いの改善
OpenAIの研究者たちは、100例未満の小規模で厳選されたデータセットでGPT-3をファインチューニングすることで、ダウンストリームのパフォーマンスを損なうことなく、モデルが特定の行動的価値観に沿うようにすることを大幅に改善できることを見出しました。
GPT-NeoとHugging Face Accelerated Inference APIを使用したFew-Shot Learning
Hugging Faceは、オープンソースのGPT-NeoモデルとAccelerated Inference APIを使用して、広範なラベル付きデータなしでタスクの汎化を可能にするFew-Shot Learningの適用について探求しています。
信頼できる汎用AIシステムのためのAnthropicのシリーズA資金調達
Anthropicは、制御可能で、解釈可能で、かつ堅牢な大規模AIシステムの開発のために、シリーズAで1億2400万ドルを調達しました。
Gradio 2.0 を使用した Hugging Face モデルの使用と混合
Gradio 2.0 により、機械学習開発者は Hugging Face モデルを一行のコードで GUI としてロードおよび展開することができ、並列および直列のモデル構成をサポートしています。
OpenAI Scholars 2021: 最終プロジェクト
OpenAIは、2021 Scholarsプログラムの最終プロジェクトを発表しました。多様な研究者グループによるスケーリング法則、報酬モデリング、強化学習の研究が特徴です。
Will Hurd が OpenAI の取締役会に加入
OpenAI は、公共政策の専門知識を技術的な AI 開発と統合するために、元米国下院議員の Will Hurd を取締役会に任命しました。
CPU上でのBERT推論のスケーリング (Part 1)
Hugging Face は、最新の CPU 上での BERT 推論のスループットを、NUMA を意識したアフィニティ設定を介して特定の物理コアにバインドされた複数の独立したモデルインスタンスを使用することで、線形にスケーリングできることを示しています。
Hugging Face Accelerate ライブラリのリリース
Hugging Face は、ボイラープレートコードを書き直すことなく、マルチ GPU や TPU を含むあらゆるデバイス構成上で生のトレーニング・スクリプトを実行できるようにする PyTorch ライブラリ、Accelerate をリリースしました。
Hugging FaceとAmazon SageMakerを使用した、要約のためのBARTおよびT5の分散トレーニング
Hugging FaceとAmazon SageMakerは、最適化されたDeep Learning Containersと専用のHuggingFace estimatorを提供することで、BARTやT5のようなTransformersモデルの分散トレーニングを簡素化するために統合されました。
BigBirdのブロック疎なアテンションの理解
BigBirdは、Transformerの計算量を二次関数から線形に削減するためにブロック疎なアテンションを導入し、最大4096トークンのシーケンス処理を可能にします。
GPT-3 API Ecosystem and Application Growth
OpenAIは、300以上のアプリケーションと数万人の開発者が、多様な業界においてGPT-3を利用し、1日平均45億語を生成していると報告しています。
Amazon SageMakerとHugging Faceのパートナーシップ
Hugging FaceとAmazonは、専用のDeep Learning Containers (DLCs)とPython SDKの拡張機能を通じてHugging Face TransformersをAmazon SageMakerに統合し、NLPモデルのトレーニングとデプロイを加速させるためのパートナーシップを締結しました。
Google Cloud Run に Hugging Face Transformers の感情分析パイプラインをデプロイする
コミュニティメンバーが、DistilBERT モデルを使用して Hugging Face の感情分析パイプラインを Google Cloud Run に提供する方法を実演し、月間最小限のコストで 5 秒未満のレイテンシを実現しました。
Hugging Face Transformers を使用した英語 ASR 向け Wav2Vec2 のファインチューニング
Hugging Face は、Connectionist Temporal Classification (CTC) 損失を使用して英語の自動音声認識 (ASR) 向けに事前学習済み Wav2Vec2 音声モデルをファインチューンする詳細なガイドを提供しています。
Hugging Face Reads: Long-range Transformers
Hugging Faceは、標準的なTransformerの自己注意のメモリと時間の計算量が二次関数的になる複雑さを、線形に削減するために設計された4つの主要なアーキテクチャ—Longformer、Compressive Transformer、Linformer、Performer—を分析しています。
CLIPにおけるマルチモーダル・ニューロン
OpenAIは、CLIPにおいて、提示されたものが文字通りか、記号的か、あるいは概念的かに関わらず、同じ概念に反応するニューロンを発見しました。これは、人間の脳に見られるマルチモーダル・ニューロンを反映しています。
Hugging Face: ニューラルネットワーク構築のためのシンプルな検討事項
Hugging Faceは、盲目的なハイパーパラメータ・チューニングよりも、データ分析、シンプルなベースライン、および厳格な実装チェックを優先することで、ニューラルネットワークの構築とデバッグのためのフレームワークを提供しています。
Hugging Face Transformers と Ray による Retrieval Augmented Generation
Hugging Face は、検索呼び出しの 2 倍の高速化と分散ファインチューニングの拡張性を向上させるために、Retrieval Augmented Generation (RAG) モデルのドキュメント検索メカニズムに Ray を統合しました。