Hugging Face Datasets の音声およびビジョン ドキュメント更新
Hugging Face は ❈ Datasets ライブラリ向けに、音声とビジョンのモダリティに特化した更新されたドキュメントと新しいツールをリリースしました。このアップデートは、テキスト以外のデータのロードと処理の体験を標準化し、従来ライブラリを定義していた NLP データセットと同様に利用しやすくすることを目的としています。
強化されたマルチモーダル Quickstart
❈ Datasets Quickstart ガイドが更新され、音声、ビジョン、NLP データセットのエンドツーエンドの例が提供されました。これにより、ユーザーは特定のモダリティ向けにデータセットをロードおよび処理する方法をすぐに学び、PyTorch または TensorFlow でのトレーニングの準備ができるようになります。
- TensorFlow Integration:
to_tf_dataset関数の導入により、データセットをtf.data.Datasetにシームレスに変換できます。これにより、TensorFlow や Keras を使用する際に、シャッフルやバッチロードを手動で処理するコードが不要になります。
モダリティ別ドキュメントガイド
異なるデータタイプの固有の技術要件に対応するため、Hugging Face は専用のドキュメントセクションを導入しました。この再編成により、Audio 機能による音声信号の自動デコードやリサンプリングなど、モダリティ固有のニュアンスが一般的な使用関数から明確に分離されます。
新しいガイドは、5 つの主要セクションに分類されています：
- General Usage: すべてのデータセットタイプに適用できる汎用関数。
- Audio: 音声処理のための専用ガイド。
- Vision: 画像処理のための専用ガイド。
- Text: NLP データセットのガイド。
- Dataset Repository: データセットリポジトリの管理に関する情報。
ImageFolder を使った画像ロードの簡素化
ImageFolder データセットビルダーは、画像分類タスク用にカスタムのデータセットロードスクリプトを書く必要をなくします。フォルダ名がラベルとして機能するディレクトリ構造で画像を整理することで、ユーザーはデータセットを即座にロードできます。
基本的な分類に加えて、ImageFolder はメタデータファイルを通じて複雑な画像タスクもサポートします。メタデータファイルが提供されている場合、ImageFolder は以下に使用できます：
- Image Captioning: 画像とテキスト記述を紐付けます。
- Object Detection: 画像とバウンディングボックス座標およびカテゴリラベルを紐付けます。
今後のロードマップ
Hugging Face は、テキストと同様の標準化レベルを音声および画像データセットにも適用することを目指しています。同社は、ImageFolder に似た AudioFolder ツールが将来的にリリースされ、音声データセットの管理をさらに簡素化する予定であることを示しています。