✷ アーカイブ · ラボ 11 拠点 · ディスパッチ 870 件
ラボ
毎朝十数個の公式ブログを開いて回る必要はありません。OpenAI、Anthropic、DeepMind などの一次発表を、要点を抜き出した形で。
Hugging FaceとAmazon SageMakerを使用した、要約のためのBARTおよびT5の分散トレーニング
Hugging FaceとAmazon SageMakerは、最適化されたDeep Learning Containersと専用のHuggingFace estimatorを提供することで、BARTやT5のようなTransformersモデルの分散トレーニングを簡素化するために統合されました。
BigBirdのブロック疎なアテンションの理解
BigBirdは、Transformerの計算量を二次関数から線形に削減するためにブロック疎なアテンションを導入し、最大4096トークンのシーケンス処理を可能にします。
Amazon SageMakerとHugging Faceのパートナーシップ
Hugging FaceとAmazonは、専用のDeep Learning Containers (DLCs)とPython SDKの拡張機能を通じてHugging Face TransformersをAmazon SageMakerに統合し、NLPモデルのトレーニングとデプロイを加速させるためのパートナーシップを締結しました。
Google Cloud Run に Hugging Face Transformers の感情分析パイプラインをデプロイする
コミュニティメンバーが、DistilBERT モデルを使用して Hugging Face の感情分析パイプラインを Google Cloud Run に提供する方法を実演し、月間最小限のコストで 5 秒未満のレイテンシを実現しました。
Hugging Face Transformers を使用した英語 ASR 向け Wav2Vec2 のファインチューニング
Hugging Face は、Connectionist Temporal Classification (CTC) 損失を使用して英語の自動音声認識 (ASR) 向けに事前学習済み Wav2Vec2 音声モデルをファインチューンする詳細なガイドを提供しています。
Hugging Face Reads: Long-range Transformers
Hugging Faceは、標準的なTransformerの自己注意のメモリと時間の計算量が二次関数的になる複雑さを、線形に削減するために設計された4つの主要なアーキテクチャ—Longformer、Compressive Transformer、Linformer、Performer—を分析しています。
Hugging Face: ニューラルネットワーク構築のためのシンプルな検討事項
Hugging Faceは、盲目的なハイパーパラメータ・チューニングよりも、データ分析、シンプルなベースライン、および厳格な実装チェックを優先することで、ニューラルネットワークの構築とデバッグのためのフレームワークを提供しています。
Hugging Face Transformers と Ray による Retrieval Augmented Generation
Hugging Face は、検索呼び出しの 2 倍の高速化と分散ファインチューニングの拡張性を向上させるために、Retrieval Augmented Generation (RAG) モデルのドキュメント検索メカニズムに Ray を統合しました。
Hugging Face PyTorch / XLA TPU 統合
Hugging Face は、既存の Hugging Face Trainer インターフェースを使用して、PyTorch ユーザーが Cloud TPU 上で transformer モデルをトレーニングおよびスケーリングできるようにするために、PyTorch / XLA を統合しました。
Hugging Face Transformers v4.2.0 TensorFlow パフォーマンスおよびサービングのアップデート
Hugging Face Transformers v4.2.0 は、TensorFlow モデルの計算パフォーマンスを大幅に向上させ、SavedModel フォーマットを使用した TensorFlow Serving によるデプロイメントを合理化します。
DeepSpeedおよびFairScaleを介したHugging Face TransformersのZeRO統合
Hugging Face Transformers v4.2.0では、DeepSpeedおよびFairScaleのZeRO最適化の実験的なサポートが導入され、より大きなモデルをより高いバッチサイズで、GPUメモリ要件を抑えてトレーニングすることが可能になります。
Hugging Face Accelerated Inference API Optimization
Hugging Faceは、高レベルのライブラリ最適化、Rustベースのトークン化、およびハードウェア固有のコンパイルを組み合わせることで、Accelerated Inference APIにおけるtransformer推論の100倍の高速化を実現しました。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary
Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。
fairseq WMT19翻訳システムを🤗 Transformersに移植
Hugging Faceは、fairseq WMT19翻訳モデル（en‑ru, ru‑en, de‑en, en‑de）を🤗 Transformersライブラリに移植し、標準のTransformers APIを使ってこれらの高品質な翻訳モデルをロードおよび実行できるようにしました。
Hugging Face Transformers と Ray Tune の統合
Hugging Face Transformers 3.1 は、Ray Tune との統合を導入し、Population-Based Training や Bayesian Optimization のような高度なハイパーパラメータチューニングアルゴリズムを簡単に実装できるようにします。
TransformerベースのEncoder-Decoderモデル Hugging Face ブログ記事 2020
Hugging Faceの2020年のブログ記事では、TransformerベースのEncoder-Decoderアーキテクチャについて、エンコーダーとデコーダーのスタック、自己注意、相互注意、および自己回帰生成を通じて、入力シーケンスがどのように可変長の出力にマッピングされるかを詳細に説明し、🤗Transformersライブラリでの使用方法を示しています。
Hugging Face pytorch_block_sparse リリース
Hugging Face は、標準的な PyTorch の疎行列よりもメモリ消費量を削減し、計算効率を向上させることで、より小さく高速な言語モデルを作成するための BlockSparseLinear モジュールを提供するライブラリ pytorch_block_sparse をリリースしました。
Reformer: メモリ効率の高いトランスフォーマーで言語モデリングの限界に挑む
Hugging Face が 2020 年 7 月に導入した Reformer モデルは、LSH セルフアテンション、ローカル セルフアテンション、チャンク化されたフィードフォワード層、可逆残差、および軸方向位置エンコーディングを組み合わせることで、8 GB 未満の RAM で最大 50 万トークンのシーケンスでのトレーニングを可能にします。
Hugging Face テキスト生成デコーディング手法ガイド
Hugging Face は、Transformers におけるオープンエンドな言語生成を最適化するために、Greedy Search、Beam Search、および Sampling (Top-K と Top-p) を含む自己回帰的なデコーディング戦略の包括的な概要を提供しています。
TransformersとTokenizersを使用した言語モデルのスクラッチからのトレーニング
Hugging Faceは、TransformersとTokenizersライブラリを使用して、新しい言語モデルをスクラッチからトレーニングする方法に関する包括的なガイドとデモンストレーションを提供しており、エスペラント語のためのEsperBERToの作成を特徴としています。