voidful/awesome-chatgpt-dataset

解决的问题

训练一个强大的 ChatGPT 风格模型需要大量高质量的对话和指令数据。从众多的公共选项中查找、比较和混合合适的数据集既耗时又令人困惑。本项目通过将数十个数据集收集到一个按大小排序的单一列表中，并提供每个数据集的语言、来源和许可信息，解决了这一问题。

工作原理

本项目是一个精选的数据集表格（“awesome list”），主要托管在 Hugging Face 和 GitHub 上。每个条目显示数据集名称、大致规模（从 1K 到 79M 个样本）、涵盖的语言、关于其来源和内容的简短描述以及许可协议。列表按规模从小到大排序，未知规模的条目排在最后。此外，该仓库提供了一个小型脚本 (preprocess.py)，让您可以克隆仓库，从 mixed/dataset 文件夹中选择所列数据集的任意组合，然后合并并将生成的混合数据集直接上传到 Hugging Face Hub。

适用人群

这适用于任何正在训练或微调大型语言模型的人，特别是那些想要构建类似 ChatGPT 助手的人。对于需要快速了解可用指令微调、偏好、推理、代码和多语言数据集，且希望在不手动搜寻每个数据集的情况下组装自定义训练组合的研究人员、开发人员或爱好者来说，它非常有用。

主要亮点

• 列出了超过 100 个数据集，从小型（1K 样本）到海量（79M 样本）
• 涵盖多种语言，包括英语、中文、繁体中文、日语、葡萄牙语和多语言集
• 包括用于指令微调、偏好学习、推理、代码生成、安全、医学问答、数学等的数据集
• 每个条目都有直接链接、规模、语言和许可信息
• 提供现成的脚本，用于合并所选数据集并上传到 Hugging Face Hub
• 按规模排序，帮助您快速找到符合计算和数据预算的数据集