esbatmop/MNBVC

解決する課題

大規模で多様かつ高品質な中国語データセットの不足を解決します。大規模AIモデルの学習に必要なデータを、主流文化からニッチな文化、ニュース、文学、専門文書まで幅広いソースから収集することで、可能な限り大きな中国語インターネットコーパスを構築することを目指しています。

動作方法

インターネット全体から生のテキストデータを収集し、JSONLやParquetなどの利用可能な形式に処理します。OCR変換、Q&Aの整合、テキスト増強、コード抽出など、専門チームによる分散作業を実施しています。規模を管理するため、エンコーディング検出、重複削除、PDF解析、ウェブクローリングに最適化されたツールセットを提供しています。

対象ユーザー

中国語自然言語処理（NLP）、大規模言語モデル（LLM）の学習、マルチモーダルAI開発に注力するAI研究者および開発者で、多様な中国語学習データを必要とする方々。

主な特徴

• 大規模: 253TBのデータを目標としており、すでに61TB以上を収集済み。
• 多様なコンテンツ: ニュース、小説、学術論文からチャットログ、歌詞、"火星語"（インターネットスラング）までを含む。
• 包括的なツールキット: GitHubやBitbucketからコードリポジトリをクロールするための専用ツールを提供。
• マルチモーダル対応: PDF解析およびArxiv文書処理ツールを備え、マルチモーダルモデル用の画像-テキストペアを生成可能。