Hugging Face データは共にあるイニシアチブ

概要

Hugging Face と Argilla は、オープンソースの機械学習コミュニティの支援を受けて、インパクトのあるデータセットの共同作成を可能にする Data Is Better Together（DIBT）イニシアチブを設立しました。このプロジェクトは、コミュニティ主導のデータキュレーションを促進し、開発者や領域専門家が独立して高品質なデータセットを構築できるように必要なツールを提供することで、英語中心のデータから脱却することを目指しています。

コミュニティ主導のデータセット実績

DIBT イニシアチブは、プロンプトの品質向上と多言語評価の2つの主要なコミュニティプロジェクトに焦点を当てています。

プロンプトランキングプロジェクト

イニシアチブは、合成と人間が生成したエントリを含む10,000件のプロンプトからなるデータセットを品質でランク付けして作成することに成功しました。この取り組みには385人以上の参加者が関わり、DIBT/10k_prompts_ranked データセットのリリースにつながりました。このデータセットはプロンプトランキングタスクや合成データ生成を目的としており、すでに SPIN を含む新しいモデルの開発に使用されています。

多言語プロンプト評価プロジェクト (MPEP)

オープンな大規模言語モデル（LLM）向けの言語別ベンチマークが不足している問題に対処するため、MPEP は多言語リーダーボードを開発することを目的として作成されました。プロジェクトは DIBT/10k_prompts_ranked データセットから高品質なプロンプト500件を抽出し、さまざまな言語に翻訳しました。この取り組みは以下の進捗を示しています：

  • 18以上の言語リーダーが翻訳スペースを確立しました。
  • オランダ語、ロシア語、スペイン語などの翻訳が完了しており、追加の言語についても作業が進行中です。
  • Discord 上に専用のデータセット構築者コミュニティが形成されました。

データセット作成ガイドとツール

「クックブック」活動の一環として、DIBT はコミュニティが独自に専門的なデータセットを構築できるようにガイドとツールを提供しています。これらのリソースは次の3つの主要領域に焦点を当てています：

  • Domain-Specific Datasets: エンジニアと領域専門家が協力して、特定分野に特化したデータセットの作成を立ち上げるためのリソース。
  • DPO/ORPO Datasets: Direct Preference Optimization（DPO）スタイルのデータセットを、さまざまな言語、領域、タスクで構築するためのガイダンス。
  • KTO Datasets: Kahneman‑Tversky Optimization（KTO）データセットをコミュニティが作成できるようにするツールと手順。

主な洞察と学んだ教訓

DIBT イニシアチブを通じて、Hugging Face と Argilla はオープンソースデータ協働に関していくつかの重要な発見を特定しました：

  • Community Demand: コミュニティ内で大きな関心と、共同でデータセットを構築したいという強い意欲が見られます。
  • Data Inequality: 既存の不平等が依然として残っており、特定の言語、領域、タスクがオープンソースベンチマークで過小評価されているため、包括的な評価を実現するためによりインクルーシブなアプローチが必要です。
  • Tooling Availability: データセット構築における効果的なコミュニティ協働のために必要なツールはすでに存在しており、コミュニティ規模で活用できる状態です。

貢献方法

DIBT イニシアチブへの貢献は継続的に行われています。ユーザーは、特定のクックブックプロジェクトの README 手順に従う、データセットや結果を共有する、あるいは新しいガイドやツールを提供することで参加できます。これらの取り組みの調整は、Hugging Face Discord サーバーの #data-is-better-together チャンネルで行われます。

Sources