huggingface/dataset-viewer

Backend that powers the dataset viewer on Hugging Face dataset pages through a public API.

何を解決するか

Hugging Face Hubにホストされているデータセットを、最初にダウンロードせずにプレビューおよび探索する方法を提供します。データを手動で読み込む必要なく、データの構造や内容を理解できるようになります。

動作方法

このリポジトリには、フロントエンドビューアに事前に計算されたデータを提供するバックエンドAPIが含まれています。ユーザーはデータの行をナビゲートし、フィルタリングや検索、データセットの基本統計情報を表示できます。

対象ユーザー

プロジェクトでデータセットを使用する前に、その内容を迅速に検査・検証する必要があるデータサイエンティストやMLエンジニアです。

特徴

  • API経由で高速アクセス可能な事前計算されたデータ
  • データセット内のフィルタリングと検索をサポート
  • データの基本統計情報を提供
  • Hugging Face Hubのデータセットページに直接統合

関連

  • Dispatch
    研究者向け Hugging Face Hub データセット共有

    Hugging Face Hub は、統合された探索、セキュリティ、コミュニティエンゲージメントツールを備えた、大規模な ML データセットのホスティングと共有のための包括的なプラットフォームを提供します。

  • プロジェクト
    huggingface/datasets

    機械学習のトレーニングや評価に向けた、巨大なマルチモーダルデータセットの簡単な1行ロードと効率的な前処理を実現する軽量なライブラリ。

  • Dispatch
    Hugging Face オーディオデータセットガイド – データのロード、処理、ストリーミング方法

    Hugging Face は、🤗 Datasets ライブラリが Hub から任意のオーディオデータセットを数行の Python コードでロード、前処理、ストリーミングできることを示す包括的なガイドを発表し、音声およびオーディオタスクの効率的な研究を可能にしました。

  • Dispatch
    Hugging Face Hub と DuckDB の統合によるデータセット分析

    Hugging Face は現在、Hub 上で自動的に Parquet 形式に変換された 50,000 件以上のパブリックデータセットに対して、DuckDB を介して SQL クエリを実行できるようになりました。

  • プロジェクト
    huggingface/huggingface_hub

    The official Python client for the Hugging Face Hub, enabling users to download, upload, and manage open-source ML models, datasets, and demo apps.