esbatmop/MNBVC

解决的问题

解决大规模、多样化、高质量中文语言数据集稀缺的问题，这些数据集是训练大规模AI模型所必需的。该项目旨在通过从广泛来源（包括主流文化与小众文化、新闻、文学、专业文档等）收集数据，构建尽可能大的中文互联网语料库。

如何工作

项目从互联网各处收集原始文本数据，并将其处理为JSONL和Parquet等可用格式。项目采用分布式协作方式，由多个专业团队负责OCR转换、问答对齐、文本增强和代码提取。为应对数据规模，项目提供了一套优化的工具，用于编码检测、去重、PDF解析和网络爬取。

适用人群

专注于中文自然语言处理（NLP）、大语言模型（LLM）训练和多模态AI开发，需要大量多样化中文训练数据的AI研究人员和开发者。

主要亮点

• 超大规模：目标数据量达253TB，目前已收集超过61TB。
• 内容多样：涵盖新闻、小说、学术论文、聊天记录、歌词以及“火星文”（网络俚语）等。
• 工具全面：提供专门用于清洗、去重和从GitHub、Bitbucket等平台爬取代码仓库的工具。
• 支持多模态：包含PDF解析和Arxiv文档处理工具，可用于为多模态模型生成图文对。