voidful/awesome-chatgpt-dataset

解決する課題

高性能な ChatGPT スタイルのモデルをトレーニングするには、高品質な会話データや指示データが大量に必要です。数多くの公開データセットの中から適切なものを見つけ、比較し、組み合わせる作業は時間がかかり、混乱を招きがちです。このプロジェクトでは、数十ものデータセットをサイズ順に整理された単一のリストにまとめ、それぞれの言語、ソース、ライセンス情報を提供することで、この問題を解決します。

仕組み

このプロジェクトは、主に Hugging Face や GitHub でホストされているデータセットのキュレーションテーブル（「awesome list」）です。各エントリには、データセット名、概算サイズ（1K から 79M サンプルまで）、対応言語、起源と内容の簡単な説明、ライセンスが記載されています。リストはサイズが小さい順に並べられており、サイズ不明のものは最後に配置されています。さらに、このリポジトリには preprocess.py という小さなスクリプトが含まれており、リポジトリをクローンして mixed/dataset フォルダからリスト内のデータセットを自由に組み合わせ、マージした結果を直接 Hugging Face Hub にアップロードすることができます。

対象読者

大規模言語モデルをトレーニングまたはファインチューニングしているすべての方、特に ChatGPT のようなアシスタントを作成したい方に最適です。利用可能な指示チューニング、選好、推論、コード、多言語データセットの概要を素早く把握し、手動で各データセットを探すことなくカスタムトレーニングセットを構築したい研究者、開発者、ホビイストにとって非常に有用です。

主な特徴

• 100以上のデータセットを掲載（1K サンプルの小規模なものから 79M サンプルの大規模なものまで）
• 英語、中国語、繁体字中国語、日本語、ポルトガル語、多言語セットなど、多くの言語を網羅
• 指示チューニング、選好学習、推論、コード生成、安全性、医療Q&A、数学などのデータセットを含む
• 各エントリに直接リンク、サイズ、言語、ライセンス情報を記載
• 選択したデータセットをマージして Hugging Face Hub にアップロードするためのすぐに使えるスクリプトを提供
• サイズ順にソートされているため、計算リソースやデータ予算に合ったデータセットを素早く見つけることが可能