esbatmop/MNBVC

해결하는 문제

대규모이고 다양한 고품질 중국어 언어 데이터셋의 부족을 해결합니다. 주류 문화와 니치 문화, 뉴스, 문학, 전문 문서 등 다양한 출처에서 데이터를 수집하여 가능한 한 가장 큰 중국어 인터넷 코퍼스를 구축하는 것을 목표로 합니다.

작동 방식

인터넷 전반에서 원시 텍스트 데이터를 수집하여 JSONL 및 Parquet와 같은 사용 가능한 형식으로 처리합니다. OCR 변환, Q&A 정렬, 텍스트 증강, 코드 추출 등 전문 팀들이 분산 작업을 수행합니다. 규모를 관리하기 위해 인코딩 감지, 중복 제거, PDF 파싱, 웹 크롤링에 최적화된 도구 세트를 제공합니다.

대상 사용자

중국어 자연어 처리(NLP), 대규모 언어 모델(LLM) 학습, 다중 모달 AI 개발에 집중하는 AI 연구자 및 개발자로, 방대한 다양한 중국어 학습 데이터가 필요한 분들입니다.

주요 특징

• 대규모: 253TB의 데이터를 목표로 하며, 이미 61TB 이상 수집됨.
• 다양한 콘텐츠: 뉴스, 소설, 학술 논문부터 채팅 기록, 가사, "화성어"(인터넷 슬랭)까지 포함.
• 포괄적인 도구 제공: GitHub 및 Bitbucket에서 코드 리포지토리를 크롤링하기 위한 전용 도구 제공.
• 다중 모달 지원: PDF 파싱 및 Arxiv 문서 처리 도구를 통해 다중 모달 모델용 이미지-텍스트 쌍 생성 가능.