voidful/awesome-chatgpt-dataset

해결하는 문제

성능이 뛰어난 ChatGPT 스타일의 모델을 학습시키려면 대량의 고품질 대화 및 지시어 데이터가 필요합니다. 수많은 공개 데이터셋 중에서 적절한 것을 찾고, 비교하고, 혼합하는 과정은 시간이 많이 걸리고 혼란스럽습니다. 이 프로젝트는 수십 개의 데이터셋을 크기별로 정렬된 단일 목록으로 수집하고, 각 데이터셋의 언어, 출처, 라이선스 정보를 제공함으로써 이 문제를 해결합니다.

작동 방식

이 프로젝트는 주로 Hugging Face와 GitHub에 호스팅된 데이터셋의 큐레이션 테이블(awesome list)입니다. 각 항목은 데이터셋 이름, 대략적인 크기(1K에서 79M 샘플까지), 지원 언어, 출처 및 내용에 대한 간단한 설명, 라이선스를 보여줍니다. 목록은 크기가 작은 순서대로 정렬되어 있으며, 크기를 알 수 없는 항목은 마지막에 배치됩니다. 또한, 이 저장소는 preprocess.py라는 작은 스크립트를 제공하여, 저장소를 복제하고 mixed/dataset 폴더에서 나열된 데이터셋을 원하는 대로 조합하여 병합한 뒤, 결과물을 직접 Hugging Face Hub에 업로드할 수 있도록 합니다.

대상 사용자

대규모 언어 모델을 학습하거나 파인튜닝하는 모든 분, 특히 ChatGPT와 같은 어시스턴트를 만들고자 하는 분들을 위한 것입니다. 사용 가능한 지시어 튜닝, 선호도, 추론, 코드 및 다국어 데이터셋의 개요를 빠르게 파악하고, 각 데이터셋을 수동으로 찾을 필요 없이 맞춤형 학습 조합을 구성하려는 연구자, 개발자 또는 취미 활동가에게 유용합니다.

주요 특징

• 100개 이상의 데이터셋 목록 제공 (소규모 1K 샘플부터 대규모 79M 샘플까지)
• 영어, 중국어, 번체 중국어, 일본어, 포르투갈어 및 다국어 세트를 포함한 다양한 언어 지원
• 지시어 튜닝, 선호도 학습, 추론, 코드 생성, 안전성, 의료 Q&A, 수학 등을 위한 데이터셋 포함
• 각 항목에 직접 링크, 크기, 언어 및 라이선스 정보 제공
• 선택한 데이터셋을 병합하여 Hugging Face Hub에 업로드할 수 있는 즉시 사용 가능한 스크립트 제공
• 크기별로 정렬되어 있어 컴퓨팅 및 데이터 예산에 맞는 데이터셋을 빠르게 찾을 수 있음