Hugging Face と Argilla が共同コミュニティデータセット構築を実現

Hugging Face と Argilla は、オープンソースコミュニティが共同で高品質なデータセットを構築できるようにするイニシアチブを開始しました。これにより、非技術的な貢献者の参入障壁が低減されます。この取り組みは、多くの言語、ドメイン、特定タスクに対する高品質なトレーニング、評価、ベンチマークデータの不足に対処することを目的としています。

Argilla と Hugging Face Spaces を活用した共同データセット構築

共同データセット構築により、機械学習やプログラミングのスキルがない個人でも、オープンソース ML の開発に直接貢献できるようになります。効率化された技術ワークフローを活用することで、コミュニティは以下のようなさまざまなデータタイプで協働できます。

• 言語固有のチャットデータセット: 表現が少ない言語向けのデータを作成。
• ドメイン固有のベンチマーク: 専門分野向けの評価セットを開発。
• 嗜好データセット: 多様な参加者からのランキングを収集。
• タスク固有のデータセット: 特定の機械学習タスクに合わせたデータを構築。

技術的実装とワークフロー

共同データ注釈の主な技術的障壁は、効率的な注釈タスクを設定する難しさにありました。これを解決するために、LLM およびタスク固有データセット作成用のオープンソースツールである Argilla と、ML デモやアプリケーションをホストするプラットフォームである Hugging Face Spaces を組み合わせました。

Argilla は現在、Spaces 上でホストされるインスタンスに対して Hugging Face アカウントでの認証をサポートしています。この統合により、ユーザーは数秒で注釈タスクへの貢献を開始でき、コミュニティ参加の摩擦が大幅に低減されます。

概念実証: 10k_prompts_ranked データセット

このワークフローをテストするために、Hugging Face と Argilla は「Data is Better Together」という実験を実施し、プロンプトランキングの嗜好データセットを構築しました。結果は、コミュニティ主導アプローチの効率性を示しました。

• 貢献者数: 350 人のコミュニティ貢献者がデータのラベリングに参加。
• データ量: 数日間で 11,000 件以上のプロンプト評価が収集。
• 成果: ユーザー評価付き 10,000 件のプロンプトを含む 10k_prompts_ranked データセットがリリースされました。

コミュニティコホート支援

Hugging Face と Argilla は、このモデルを拡大するための初期コホートのデータセットビルダーを募集しています。コホート参加者への支援内容は以下の通りです。

• インフラストラクチャ: Hugging Face 認証付き Argilla Space の作成支援、無料の永続ストレージ、Hugging Face が提供する CPU スペースの強化。
• 可視性: Argilla と Hugging Face の両方によるコミュニケーションとプロモーションの拡散。
• コラボレーション: 専用コホートコミュニティチャンネルへのアクセス。

プロジェクトの範囲と制限

このイニシアチブは主にテキストベースのデータセットに焦点を当てており、特にオープンソースエコシステムで現在過小評価されている言語、ドメイン、タスクを対象としています。マルチモーダルデータセットのアイデアも受け付けていますが、最初のコホートではサポートが限定的になる可能性があります。注釈タスクは、一般公開するか、特定の Hugging Face Hub 組織のメンバーに限定するかを選択できます。