Hugging Face データセットハブ検索機能のアップデート

Hugging Face は、プラットフォーム上で利用可能な 180,000 を超える公開データセットの発見と探索を改善するために、データセットハブに 4 つの新しい検索フィルタを導入しました。これらの更新は、データセットの可視性と発見性に関する課題に対処し、ユーザーが AI モデルのトレーニングや評価に必要な特定の技術要件に合致するデータを見つけやすくします。

モダリティでフィルタリング

ユーザーは、データセットに含まれるデータの種類に基づいてフィルタリングできるようになりました。モダリティは、ファイル拡張子と内容に基づきハブが自動的に検出します。サポートされているモダリティフィルタは次のとおりです。

  • テキスト
  • 画像
  • 音声
  • 表形式
  • 時系列
  • 3D
  • ビデオ
  • 地理空間

これらのフィルタは複数選択に対応しており、テキストと画像の組み合わせデータなど、複数のモダリティを含むデータセットを見つけることができます。

データセットサイズでフィルタリング

データセットハブでは、最小行数と最大行数を指定してデータセットを検索できるようになりました。この機能により、少規模のデータセットから LLM の事前学習に使用される大規模データセットまで、幅広く発見できるようになります。

行数は、サポートされているすべてのフォーマットのデータセットで利用可能です。メタデータに行数が明示されていないデータセットについては、Hugging Face がデータセットの最初の 5 GB の内容に基づいて総行数を推定します。

データ形式でフィルタリング

ユーザーは、データを特定のユースケース向けに再フォーマットする必要があるかどうかを判断する上で重要な、保存形式でデータセットをフィルタリングできるようになりました。ハブは、形式ごとに異なるトレードオフがあることを強調しています。

  • Parquet: 効率的なフィルタリングと分析が可能で、圧縮率が高い。ただし、単一行にアクセスするには行グループ全体をデコードする必要があります。
  • WebDataset: 高速なデータストリーミングに最適化されているが、ファイルごとの行数などのメタデータが欠如しており、マルチノードでのトレーニング分散に影響を与える可能性があります。
  • その他の形式: 主な形式として JSON Lines、CSV、プレーンテキストファイルがあります。

ライブラリ互換性でフィルタリング

データセットハブは、Pandas、Dask、そして ‚‚ Datasets ライブラリなど、データのロードや前処理に使用されるライブラリやツール向けのフィルタも追加しました。互換性はデータセットの形式とサイズによって決まります（例: 大規模な JSON Lines データセットで Pandas のメモリ上限を超える場合は Dask が推奨されます）。

統合を簡素化するために、Hugging Face はこれらのサポートツールを使用したデータセットのロード用コードスニペットを提供しています。

検索フィルタの組み合わせ

4 つの新しいフィルタ（モダリティ、サイズ、形式、ライブラリ）は、相互に組み合わせることができ、Language、Tasks、Licenses といった既存のフィルタとも併用できます。テキスト検索バーと併用すれば、非常に具体的なデータセットの発見が可能になります。

Sources