Gradio 3.0 リリースノート
Hugging Face は Gradio 3.0 をリリースしました。フロントエンドの全面的な再設計と、Python で複雑なカスタム機械学習 Web アプリを構築するための Gradio Blocks の導入が特徴です。
Hugging Face 学生アンバサダープログラム 2022
Hugging Faceは、2023年までに機械学習を500万人に教えるという目標達成を支援するため、初の学生アンバサダープログラムを開始しました。
Hugging Face ディレクター・オブ・機械学習インサイト: SaaS エディション
Hugging Face は Salesforce、Amplitude、ZoomInfo、Repustate の 4 名の ML ディレクターにインタビューし、機械学習を SaaS 製品に統合する際の実務的課題、一般的な落とし穴、そして将来の機会について議論しました。
Optimum 1.2 推論リリースで ONNX Runtime 加速パイプラインを追加
Hugging Face は Optimum 1.2 を発表しました。これにより ONNX Runtime を介した推論サポートと Transformers パイプライン統合が追加され、より高速で量子化された最適化モデルの提供が可能になります。
Hugging Face Series C 資金調達発表
Hugging Faceは、オープンソースの研究、製品、協調的な機械学習を通じてAIの民主化を加速するために、Series Cで1億ドルの資金調達を行いました。
fastai と Hugging Face Hub の統合
Hugging Face は fastai ライブラリを統合し、実務者が Python のワンラインで fastai Learner オブジェクトを Hugging Face Hub に直接アップロードおよびダウンロードできるようにしました。
Hugging Face ディープ強化学習入門
Hugging Face は、無料のディープ強化学習クラス向けの入門チュートリアルを公開し、コアな RL の概念、RL フレームワーク、探索と活用のトレードオフ、ポリシーベースとバリューベースの手法、そしてディープニューラルネットワークが RL に統合される方法を取り上げています。
Kili と HuggingFace AutoTrain を用いた意見分類
Hugging Face は、データ注釈に Kili、モデルの自動トレーニングに AutoTrain を使用したテキスト分類のアクティブラーニングパイプラインの構築方法を示しています。
Hugging Face Machine Learning Director Insights – 業界の視点
Hugging Face は、6 人の機械学習ディレクターへのインタビューシリーズを公開し、メディア、製薬、科学、ロジスティクス、マーケティング、エネルギーにおける ML の変革事例と、共通の課題や将来の機会をハイライトしています。
Habana GaudiでTransformerを始める
Hugging Face と Habana Labs は提携し、Transformer モデルのトレーニングを加速します。GPU ベースの Amazon EC2 インスタンスと比較して、Habana Gaudi アクセラレータ上で最大 40% の価格性能向上が実現できます。
機械学習で顧客サービスを強化する
Hugging Face は、ファインチューニングされた DeBERTa-v3-base モデルと Transformers および Datasets ライブラリを使用して、不満のある顧客フィードバックのフィルタリングを自動化する方法を示しています。
Hugging Face 教育イニシアチブ 2022 発足
Hugging Face は 2022年4月に、2023年末までに 500万人に機械学習を教えることを目指したマルチトラック教育プログラムを発表し、学習者、講師、一般の人々向けに無料リソースを提供します。
Hugging Face Hub カーボン排出量トラッキング
Hugging Face は、機械学習モデルの CO2 排出量に基づいて追跡、報告、フィルタリングするツールを導入し、AI の環境透明性を向上させました。
Lewis Tunstall インタビュー – Hugging Face 機械学習エキスパート
Hugging Face は、機械学習エンジニアの Lewis Tunstall への詳細なインタビューを発表し、Transformers ライブラリでの彼の取り組み、新しい「NLP with Transformers」書籍、そして拡大中の Hugging Face Course をハイライトしています。
Habana Labs と Hugging Face のトランスフォーマーモデル訓練に関するパートナーシップ
Habana Labs と Hugging Face は、Habana の SynapseAI ソフトウェアスイートを Hugging Face Optimum ライブラリに統合し、Habana Gaudi プロセッサ上でのトランスフォーマーモデル訓練を加速しました。
Hugging Face Transformers の設計哲学
Hugging Face は Transformers ライブラリに対して「単一モデルファイル」ポリシーを採用しており、意図的に DRY（Don't Repeat Yourself）原則を放棄し、可読性、コミュニティ貢献、そして静的な機械学習モデルの安定性を優先しています。
Hugging Face Transformers における Decision Transformer の統合
Hugging Face は、RL を条件付きシーケンスモデリング問題として扱うオフライン強化学習手法である Decision Transformer を transformers ライブラリと Hugging Face Hub に統合しました。
モダンなCPUにおけるBERTライクなモデルの推論のスケーリング - パート2
Hugging Faceは、Intel Ice Lake Xeon CPU上でのBERTライクなモデルのソフトウェアレベルの最適化を調査し、メモリ割り当て器、並列化ライブラリ、およびベイズ最適化を使用することで、推論レイテンシを大幅に削減できることを示しました。
Amazon SageMaker で Hugging Face モデルを簡単にデプロイする
Hugging Face と Amazon SageMaker は、新しい推論 Deep Learning コンテナ (DLC) と推論ツールキットを導入し、Transformer モデルを本番環境のエンドポイントにデプロイする作業を簡素化しました。
Hugging Face Hub における Sentence Transformers の統合
Hugging Face は Sentence Transformers を Hub に統合し、100 以上の言語に対応する 90 以上の学習済みモデルと、特徴抽出および文章の類似性のための新しいインタラクティブなウィジェットを提供します。
Gradio 2.0 を使用した Hugging Face モデルの使用と混合
Gradio 2.0 により、機械学習開発者は Hugging Face モデルを一行のコードで GUI としてロードおよび展開することができ、並列および直列のモデル構成をサポートしています。
CPU上でのBERT推論のスケーリング (Part 1)
Hugging Face は、最新の CPU 上での BERT 推論のスループットを、NUMA を意識したアフィニティ設定を介して特定の物理コアにバインドされた複数の独立したモデルインスタンスを使用することで、線形にスケーリングできることを示しています。
Hugging Face Accelerate ライブラリのリリース
Hugging Face は、ボイラープレートコードを書き直すことなく、マルチ GPU や TPU を含むあらゆるデバイス構成上で生のトレーニング・スクリプトを実行できるようにする PyTorch ライブラリ、Accelerate をリリースしました。
Hugging FaceとAmazon SageMakerを使用した、要約のためのBARTおよびT5の分散トレーニング
Hugging FaceとAmazon SageMakerは、最適化されたDeep Learning Containersと専用のHuggingFace estimatorを提供することで、BARTやT5のようなTransformersモデルの分散トレーニングを簡素化するために統合されました。
BigBirdのブロック疎なアテンションの理解
BigBirdは、Transformerの計算量を二次関数から線形に削減するためにブロック疎なアテンションを導入し、最大4096トークンのシーケンス処理を可能にします。
Amazon SageMakerとHugging Faceのパートナーシップ
Hugging FaceとAmazonは、専用のDeep Learning Containers (DLCs)とPython SDKの拡張機能を通じてHugging Face TransformersをAmazon SageMakerに統合し、NLPモデルのトレーニングとデプロイを加速させるためのパートナーシップを締結しました。
Google Cloud 上でのサーバーレス Transformers パイプラインのデプロイ
Maxence Dominici 氏は、Hugging Face Transformers と Google Cloud Run を使用して、低リクエスト量のサーバーレス・マイクロサービス向けに感情分析パイプラインをデプロイする方法を実演しています。
Hugging Face Transformers を使用した英語 ASR 向け Wav2Vec2 のファインチューニング
Hugging Face は、Connectionist Temporal Classification (CTC) 損失を使用して英語の自動音声認識 (ASR) 向けに事前学習済み Wav2Vec2 音声モデルをファインチューンする詳細なガイドを提供しています。
Hugging Face Reads: Long-range Transformers
Hugging Faceは、標準的なTransformerの自己注意のメモリと時間の計算量が二次関数的になる複雑さを、線形に削減するために設計された4つの主要なアーキテクチャ—Longformer、Compressive Transformer、Linformer、Performer—を分析しています。
Hugging Face: ニューラルネットワーク構築のためのシンプルな検討事項
Hugging Faceは、盲目的なハイパーパラメータ・チューニングよりも、データ分析、シンプルなベースライン、および厳格な実装チェックを優先することで、ニューラルネットワークの構築とデバッグのためのフレームワークを提供しています。
Hugging Face Transformers と Ray による Retrieval Augmented Generation
Hugging Face は、検索呼び出しの 2 倍の高速化と分散ファインチューニングの拡張性を向上させるために、Retrieval Augmented Generation (RAG) モデルのドキュメント検索メカニズムに Ray を統合しました。
Hugging Face PyTorch / XLA TPU 統合
Hugging Face は、既存の Hugging Face Trainer インターフェースを使用して、PyTorch ユーザーが Cloud TPU 上で transformer モデルをトレーニングおよびスケーリングできるようにするために、PyTorch / XLA を統合しました。
Hugging Face Transformers v4.2.0 TensorFlow パフォーマンスおよびサービングのアップデート
Hugging Face Transformers v4.2.0 は、TensorFlow モデルの計算パフォーマンスを大幅に向上させ、SavedModel フォーマットを使用した TensorFlow Serving によるデプロイメントを合理化します。
DeepSpeedおよびFairScaleを介したHugging Face TransformersのZeRO統合
Hugging Face Transformers v4.2.0では、DeepSpeedおよびFairScaleのZeRO最適化の実験的なサポートが導入され、より大きなモデルをより高いバッチサイズで、GPUメモリ要件を抑えてトレーニングすることが可能になります。
Hugging Face Accelerated Inference API Optimization
Hugging Faceは、高レベルのライブラリ最適化、Rustベースのトークン化、およびハードウェア固有のコンパイルを組み合わせることで、Accelerated Inference APIにおけるtransformer推論の100倍の高速化を実現しました。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary
Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。
fairseq WMT19翻訳システムを🤗 Transformersに移植
Hugging Faceは、fairseq WMT19翻訳モデル（en‑ru, ru‑en, de‑en, en‑de）を🤗 Transformersライブラリに移植し、標準のTransformers APIを使ってこれらの高品質な翻訳モデルをロードおよび実行できるようにしました。
Hugging Face Transformers と Ray Tune の統合
Hugging Face Transformers 3.1 は、Ray Tune との統合を導入し、Population-Based Training や Bayesian Optimization のような高度なハイパーパラメータチューニングアルゴリズムを簡単に実装できるようにします。
TransformerベースのEncoder-Decoderモデル Hugging Face ブログ記事 2020
Hugging Faceの2020年のブログ記事では、TransformerベースのEncoder-Decoderアーキテクチャについて、エンコーダーとデコーダーのスタック、自己注意、相互注意、および自己回帰生成を通じて、入力シーケンスがどのように可変長の出力にマッピングされるかを詳細に説明し、🤗Transformersライブラリでの使用方法を示しています。
Hugging Face pytorch_block_sparse リリース
Hugging Face は、標準的な PyTorch の疎行列よりもメモリ消費量を削減し、計算効率を向上させることで、より小さく高速な言語モデルを作成するための BlockSparseLinear モジュールを提供するライブラリ pytorch_block_sparse をリリースしました。
Reformer: メモリ効率の高いトランスフォーマーで言語モデリングの限界に挑む
Hugging Face が 2020 年 7 月に導入した Reformer モデルは、LSH セルフアテンション、ローカル セルフアテンション、チャンク化されたフィードフォワード層、可逆残差、および軸方向位置エンコーディングを組み合わせることで、8 GB 未満の RAM で最大 50 万トークンのシーケンスでのトレーニングを可能にします。
Hugging Face テキスト生成デコーディング手法ガイド
Hugging Face は、Transformers におけるオープンエンドな言語生成を最適化するために、Greedy Search、Beam Search、および Sampling (Top-K と Top-p) を含む自己回帰的なデコーディング戦略の包括的な概要を提供しています。
TransformersとTokenizersを使用した言語モデルのスクラッチからのトレーニング
Hugging Faceは、TransformersとTokenizersライブラリを使用して、新しい言語モデルをスクラッチからトレーニングする方法に関する包括的なガイドとデモンストレーションを提供しており、エスペラント語のためのEsperBERToの作成を特徴としています。