ギャラリー、図書館、アーカイブ、博物館のための Hugging Face Hub

Hugging Face Hub とは

Hugging Face Hub は、機械学習モデル、データセット、デモを共有し、アクセスできる中心的なリポジトリです。190,000以上の機械学習モデル、33,000のデータセット、100,000以上の機械学習アプリケーションとデモをホストしています。これらのリソースは、学習済み言語モデル、テキスト、画像、音声の分類、物体検出、生成モデルなど、幅広いタスクとドメインをカバーしています。

Hugging Face Hub で何が見つかるか

Hub では、さまざまなモダリティとタスクをサポートする機械学習モデル、データセット、Spaces にアクセスできます。

Models

Hub では、さまざまなタスクとドメインをカバーする機械学習モデルへのアクセスを提供します。多くの機械学習ライブラリが Hub と統合されており、ユーザーはそれらのライブラリを介してモデルを直接使用したり共有したりできます。

Datasets

Hub には30,000以上のデータセットがホストされています。これらのデータセットは、テキスト、画像、音声、マルチモーダルなデータセットを含む幅広いドメインとモダリティをカバーしており、機械学習モデルのトレーニングと評価に非常に価値があります。

Spaces

Hugging Face Spaces は、ユーザーが機械学習のデモやアプリケーションをホストできるプラットフォームです。Spaces は、モデルの予測を探索するシンプルなデモから、より高度なアプリケーションまで多岐にわたります。ユーザーは Gradio や Streamlit のアプリケーションをホストしたり、カスタム Docker イメージを使用したりできるほか、Docker テンプレートを使用して Argilla や Label Studio のような人気ツールのホスト版を迅速に作成できます。

Hub で関連するモデルを見つける方法

ユーザーは、Hub をタスクや言語でフィルタリングすることで、自身の目的に合った公開モデルを見つけることができます。

例えば、メタデータが最小限のデジタル化されたノルウェー語の文書を扱う場合、名前付きエンティティ認識 (NER) モデルがテキスト内の場所の特定に役立ちます。ユーザーは、NER モデルを含む token-classification タスクでモデルをフィルタリングし、さらに言語を Norwegian に絞り込むことで、セットを限定できます。これらのモデルの多くには、ユーザーが自分のデータでパフォーマンスをテストできるモデルウィジェットが含まれています。モデルを選択した後、「use in Transformers」ボタンをクリックして Transformers ライブラリでモデルをロードするためのコードを取得したり、「deploy」ボタンをクリックして API の背後でモデルをホストするためのオプションを探索したりできます。

ウォークスルー：GLAM データセットを Hub に追加する

Hub への GLAM データセットの追加は、コードを書かずにブラウザのインターフェースから行うことができます。

新しいデータセットリポジトリを作成する

最初のステップは、Hub の右上隅にあるドロップダウンメニューの「New Dataset」ボタンをクリックし、リポジトリの名前を選択（任意で所有組織を選択可能）し、ライセンスを指定することです。

ファイルをアップロードする

リポジトリを作成した後、「Files」タブの下にある「Add file」をクリックし、アップロードするデータファイルを選択します。単一または複数のファイルをアップロードできます。ファイルを選択したら、変更をコミットしてアップロードを完了させます。

メタデータの追加

データセットを見つけやすくするためには、メタデータを追加することが重要です。ユーザーは Metadata UI エディタを使用して、ライセンス、言語、タグ、その他のフィールドを指定し、メタデータを編集できます。さらに、ユーザーはデータセットカードとして機能する README.md ファイルに、データセットの構成、長所、短所を記載する必要があります。Hub は、有用な情報を提供するためのプロンプトを備えたテンプレートデータセットカードを提供しています。

データセットのプレビュー

アップロード後、Hub はデータセットのプレビューを提供し、ユーザーがその内容をよりよく理解するのに役立てます。

データセットを共有するその他の方法

特定のユースケースに適した代替アプローチについては、データセットのドキュメントを参照してください。

なぜ GLAM が Hub を利用する可能性があるのか

ギャラリー、図書館、アーカイブ、博物館が Hub に貢献することには、いくつかの動機があります。

  • 新しいオーディエンスへの露出：Hub は機械学習や AI の分野で活動する人々にとって中心的な目的地であるため、コレクションを共有することで、このオーディエンスに公開され、コラボレーションの機会が開かれます。
  • コミュニティ：Hub のコミュニティ機能により、ユーザーは質問をしたり共有された資料に関与したりすることができ、人々が互いの成果の上に構築し、このセクターにおける機械学習の利用の障壁を下げることができます。
  • トレーニングデータの多様性：ドメイン固有のデータセットを共有することは、GLAM データに関する関連トレーニングデータの不足の解消に役立ち、実際のコレクションに対するモデルのパフォーマンスを向上させます。
  • 気候変動：トレーニング済みモデルを共有することで、作業の重複が減り、機械学習モデルのトレーニングに関連する炭素排出量を集合的に削減できる可能性があります。

Hugging Face Hub の活用例

いくつかの GLAM 関連プロジェクトが、モデル、データセット、デモを共有するためにすでに Hub を使用しています。

BigLAM

BigScience プロジェクトのイニシアチブである BigLAM は、アクセシビリティを高めるために、30 以上の GLAM 関連データセットを Hub 経由で利用可能にしています。

Nasjonalbiblioteket AI Lab

ノルウェー国立図書館の AI ラボは Hub を積極的に活用しており、約 120 のモデル、23 のデータセット、6 つの機械学習デモを共有しています。これらには、国立図書館のノルウェー語テキストでトレーニングされた言語モデルや、サーミ語でトレーニングされた Whisper 音声対テキストモデルが含まれます。

Smithsonian Institution

Smithsonian は、アマゾンの魚種を特定するためにトレーニングされた 2 つの機械学習モデルを実演するアプリケーションを Hugging Face Spaces でホストして共有しました。このプロジェクトは、アマゾンの魚種の数をより正確に測定するためのツールをコミュニティに提供することを目指しており、Spaces のデモは、これらのツールを使用したいと考えている人々の障壁を下げます。

ギャラリー、図書館、アーカイブ、博物館のための Hub の機能

Hub には、GLAM 機関にとって特に役立つ機能が含まれています。

  • Organizations: ユーザーは Hub 上に組織を作成し、専用のスペースで機関の成果物を共有できます。
  • Minting DOIs: Hub はモデル、データセット、デモに対して Digital Object Identifiers (DOIs) の発行をサポートしており、ジャーナル、会議、資金提供者がしばしば必要とする永続的な識別子を提供します。
  • Usage tracking: ユーザーは、データセットとモデルの月間ダウンロード統計、または累計のダウンロード数を表示して、インパクトを示すことができます。
  • Script-based dataset sharing: データセットがすでに他の場所でホストされている場合、ユーザーはデータセットのロードスクリプトを使用して Hub 経由でアクセスを提供できます。
  • Model and dataset gating: Hub は gating をサポートしており、所有者が必要に応じてモデルやデータセットにアクセス制御を追加できるようにします。

Hub の使用に関するヘルプが必要な場合は

詳細な情報は、Hub のドキュメント、データセット共有ガイド、および Transformers モデル共有ガイドで確認できます。サポートが必要な場合は、Hub はディスカッションフォーラムと Discord コミュニティを提供しており、ユーザーはそこで質問をしたりサポートを受けたりすることができます。

Sources