Hugging Face Summer 2021 Update

TL;DR

Hugging Faceは、2021年夏にSpacesを導入してMLデモのホスティングを行い、HubにTensorBoardと評価メトリクスを統合し、ハードウェアアクセラレーション用のOptimumライブラリをローンチすることでエコシステムを拡張しました。これらのアップデートに加えて、JAX/Flaxのサポート拡張と新しいトークナイザーフリーモデルにより、最先端の機械学習モデルのデプロイと共有のハードルを下げることを目的としています。

Hub機能拡張

Spaces Beta

Spacesは、ユーザーまたは組織のプロファイルに直接Machine Learningデモアプリケーションをホスティングする無料ソリューションを提供します。GradioおよびStreamlit SDKをサポートし、ユーザーは数分でPythonベースのアプリをデプロイできます。主な機能には以下が含まれます：

セキュアなデプロイのためのシークレット管理
依存関係の処理のためのカスタム要件
GitHubリポジトリを介した直接管理

Model Visibility and Tracking

TensorBoard Integration: Hubは現在、TensorBoardトレースを含む任意のリポジトリに対して無料のTensorBoardインスタンスを自動的に起動し、公開および非公開の両方のリポジトリをサポートします。
Evaluation Metrics: ユーザーは現在、model-indexセクションのモデルカードに評価メトリクスをリストできます。これらのメトリクスは、対応するPapers With Codeリーダーボードに自動的にリンクされ、サイドバイサイドのコミュニティ比較が可能になります。
Social Features: モデル、データセット、Spacesに「いいね」システムが実装され、コミュニティ発見を容易にします。

Interactive Browser Widgets

現在、ブラウザ内でモデルをテストできるウィジェットが18種類あります。最近の追加項目は以下の通りです：

Sentence Transformers: 特徴抽出と文の類似度ウィジェット。
Audio Classification: 言語識別、街頭音検出、コマンド認識、話者識別をサポート。
Computer Vision: テキストから画像、画像分類、オブジェクト検出ウィジェット（例えば、GoogleのViTおよびFacebook AIのDETRをサポート）。
Structured Data: Scikit-learn分類の初期デモ。

Open Source Library Updates

Transformers

Transformersライブラリは50,000スターと3000万ダウンロードに到達しました。主なアップデートは以下の通りです：

Framework Support: JAX/Flaxは現在、Hubに5,000以上のモデルがある第三のサポートフレームワークです。TensorFlowの例は、より堅牢で慣用的な使用のために再作業されました。
Model Additions:
- DETR: エンドツーエンドのオブジェクト検出および画像セグメンテーション。
- ByT5とCANINE: バイトまたは文字に直接作用するトークナイザーフリーモデル。
- HuBERT: 感情およびコマンド認識のための高度なオーディオタスクパフォーマンス。
- LayoutLMv2とLayoutXLM: テキスト、レイアウト、視覚データを組み合わせてドキュメント画像を解析するモデル。
- BeiT: セルフスーパーバイズドVision Transformers。
- RemBERT: ゼロショット転送でXLM-Rを上回る大規模多言語Transformer。
- Splinter: SQuADでわずか128例で約73%のF1を達成する few-shot QA モデル。
Hub Integration: Trainer APIは now チェックポイント保存時に構成、モデル、トークナイザーファイルを直接Hubにプッシュできます。新しい transformers.onnx モジュールは、ONNXへのモデルエクスポートを改善します。

Datasets

Dataset Hubは現在、1,400の公開データセットをホストしています。新しいハイライトには、コーディングタスク用のMicrosoft CodeXGlueおよびC4とMC4のような大規模データセットがあります。ライブラリは現在、JAX、Parquetファイル、リモートファイル、および自動音声認識などの拡張ドメインをサポートしています。

Ecosystem Integration

Hubは、huggingface_hubライブラリを通じて他のMLライブラリとのパートナーシップを拡張しました：

spaCy: すべての標準パイプラインは公式のspaCy組織で利用可能であり、単一のコマンドで共有できます。
Sentence Transformers: Hubには現在200以上のモデルが利用可能です。
Other Libraries: Adapter TransformersおよびSpeechbrainモデルの統合。

Enterprise and Production Solutions

Hardware Acceleration and Optimum

Hugging Faceは、Intel、Qualcomm、GraphCoreと提携し、OptimumというオープンソースのML最適化ツールキットをローンチしました。これは本番環境でのパフォーマンスを目的として設計されています。

Deployment and Inference

Inference on SageMaker: AWSとの新しい統合により、ユーザーはHubのモデルページにあるコードスニペットを使用してSageMaker上でTransformersモデルをデプロイできます。
AutoNLP: ユーザーはブラウザから直接自分のデータでTransformersモデルをトレーニング、評価、デプロイできるノーコードのウェブインターフェースが теперь利用可能です。
Inference API: 新しい統合には、Pythonコードコメント用のVSCode拡張、アプリ自動化のためのZapier接続（例：TwitterメンションのSlackアラート）、およびゼロショット分類のためのGoogle Sheetsスクリプトが含まれます。
Infinity: プライベートインフラストラクチャでの高効率デプロイを目的とした間もなく登場するソリューションで、GPU上のBERT類似モデルに対して1msのレイテンシー、CPU上では4-10msを主張しています。

Research and Community Initiatives

BigScience and Collaborative Training

BigScience: Jean Zayで13B英語専用デコーダーモデルの最初の大規模トレーニングを完了し、第2フェーズのために2.5百万GPU時間の予算を要求しました。
DeDLOC: Yandex研究と共同で開発された協調トレーニング手法で、HPCクラスターなしでアクセス可能なリソース（例：Colab、Kaggle）上で大規模ネットワークのトレーニングを可能にします。これは、ベンガル語モデルであるsahajBERTのトレーニングに使用されました。

Academic Contributions

NAACL Best Paper: 論文「How Many Data Points is a Prompt Worth?」はBest Paper賞を受賞し、人間が書いたプロンプトが何千もの教師ありデータポイントを置き換えられることを示しました。
EMNLP Papers: 4編の論文が採択され、Datasetsコミュニティライブラリ、プロンプトベースのファインチューニングヒューリスティック、およびより高速なTransformerのためのブロックプルーニング（SQuADにおけるBERTより2.4倍高速かつ74%小さいモデルを生成）がカバーされています。

Education

Hugging Face Course: Transformers、Tokenizer、Datasets、Accelerate、およびHubをカバーする無料オンラインコースがローンチされました。
JAX/FLAX Sprint: 800人の参加者がいるコミュニティイベントで、170以上のモデル、22のデータセット、および38のSpacesデモ（Dall-e mini、DietNerf、CLIP RSICを含む）が生成されました。