Nemotron-pretraining-Indic-v1：NVIDIA 与 AI4Bharat 发布覆盖 22 种印度语言的 2.8 万亿 Token

NVIDIA、印度理工学院马德拉斯分校及其 AI4Bharat 实验室宣布推出 Nemotron-pretraining-Indic-v1，这是一个包含约 2.8 万亿 Token、覆盖 22 种印度语言的语料库，将与其构建所用的开源、GPU 加速的数据生成流水线一同发布。此次发布意义重大，因为它针对印度语言建模的核心瓶颈——训练数据不足——并将语料库与可复用的方案相结合，使团队能够从自己的源文档生成更多数据，而不仅仅是使用固定的数据集。

这 22 种语言是印度宪法中列出的语言。它们是 97% 印度人的第一语言，根据 2011 年人口普查，这相当于近 12 亿公民。

具体发布了什么

此次发布包含两个部分：语料库本身和生成该语料库的流水线。该流水线记录了完整的生成方案，包括提示词、LLM 工作流和质量检查，以便开发者将其适配到自己的源材料。

AI4Bharat 是印度理工学院马德拉斯分校的印度语言研究实验室，致力于构建印度语言的开源数据集和模型。其早期资源，如 Sangraha（一个覆盖 22 种印度语言的开源预训练语料库），为开放的印度语言模型研究奠定了基础。新的联合发布被描述为对社区可用的开放合成印度语训练数据的重大扩展。

该语料库将精选的英语材料（包括数学、代码和问答内容）广泛引入印度语言。每条记录都可追溯到精选的源文档，并且每个输出都会根据其输入进行检查，从而确保合成文本基于真实信息。

领导 AI4Bharat 并入选 2025 年 TIME100 AI 榜单的 Mitesh Khapra 指出了核心问题：印度语言技术落后于英语，因为“我们没有足够的印度语言数据”。此次发布通过提供更多数据以及生成更多数据的开放方案来回应这一问题。

语料库构成：2601.0 亿个本土文字 Token 和 224.6 亿个罗马化 Token

该语料库包含 2601.0 亿个本土文字 Token 和 224.6 亿个罗马化 Token，使用 Gemma-4 tokenizer 计数。文档记录包括共享来源的翻译和文字变体；它们不是唯一英语文档的计数。

该语料库涵盖 34 种语言-文字配置，并分为两组：

  • 本土文字和罗马化数据（12 种语言）： 孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语。
  • 仅本土文字数据（10 种语言）： 阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。

在此语料库中，本土文字 指书写系统：文本仍是从英语翻译而来。罗马化 指用拉丁字母书写的印度语言文本，而非英语翻译。对于这十二种双文字语言，罗马化覆盖了已接受的本土文字翻译的子集。

在构建训练混合数据时，这种区别很重要。本土文字和罗马化记录提供不同的文字接触，但可以表达相同的基本内容。Token 计数描述的是保留的语料库（包括已接受的改写），而不是训练运行的 Token 预算。计数还取决于所使用的 tokenizer，因此语料库清单和训练 Token 计数应分开阅读。

十二种语言工作流：翻译、评估、修复、罗马化

该语料库始于从 15 个 Nemotron-CC-v2 子集中提取的文档，涵盖网页文本、问答材料、数学、代码和其他专业内容。NVIDIA 的开源 NeMo Data Designer 框架负责翻译、质量检查和针对性修复。在整个工作流中，每个来源标识符都会被保留，以便开发者将输出追溯到其原始文档。

十二种语言流水线有四个阶段：

  1. 文档级翻译。 文档被完整翻译，以便模型可以利用段落、表格和方程式中的上下文。Gemma-4-31B-it 是通过在完整文档上比较模型、检查翻译质量和技术内容保留情况而选出的。提示词区分需要翻译的散文和需要保留的内容，包括代码、方程式、URL 和格式。
  2. 质量评估。 同一模型根据英语来源，使用受多维质量指标（MQM）启发的评分标准评估每个输出，MQM 是一个用于按类型和严重程度对翻译错误进行分类的开放框架。评分标准涵盖意义、流畅性、术语、风格和格式。只有得分至少为 75 分（满分 100 分） 的输出才会被保留——这是评分标准分数，而非准确率百分比。
  3. 针对性修复。 对于得分较低的输出，评估反馈会指导修复，然后根据相同阈值重新评估。此过程在原生文字和罗马化数据中恢复了 4384 亿个 Token，这些已包含在语料库总数中。抽样人工审查和故意引入错误的测试有助于识别遗漏和残留英语，从而改进提示词和检查。
  4. 罗马化。 已接受的本土文字翻译为罗马化数据提供起点。将子集转换为拉丁字母，并检查每个结果与其本土文字输入。在初步人工比较中，这种两步方法比直接从英语生成罗马化文本产生的幻觉添加和残留英语更少。

十种语言工作流：不同的翻译模型和文字处理

对于其他十种语言，工作流经过调整，以解决比较中观察到的长文档质量和文字稳定性问题。翻译使用 Indic Translate，这是一个来自 Bodhan AI 的英语和 22 种印度语言的文档级翻译模型，Bodhan AI 是印度理工学院马德拉斯分校孵化的非营利性 AI 教育中心。然后，Gemma-4-31B-it 根据英语来源评估每个翻译。

两种语言需要特殊处理：

  • 对于较长的 桑塔利语 文档，流水线会翻译重叠窗口并重建文档。
  • 对于 曼尼普尔语，流水线先翻译成孟加拉文字，然后转换为 Meitei Mayek（其本土文字）。

八种语言保留整文档方法。这些工作流保留得分至少为 75 分（满分 100 分）的输出，并且仅生成本土文字数据，不进行基于反馈的改写。

印度语持续预训练后的变化

Nemotron 3.5 Super VL 技术报告比较了印度语持续预训练（CPT）阶段之前和之后的检查点。配置的预算为 1000 亿个训练 Token，其中 10%（100 亿个 Token） 分配给合成和自然印度语文本的混合。其余 90% 保持了先前训练混合的相对比例。

所有五个报告的印度语知识和推理基准的得分均有所提高：MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K。提升范围从 4.98 到 9.82 个百分点。GSM8K 排除了奥里亚语，因为评估超出了服务上下文限制。

这些是阶段级检查点，而非最终模型发布的比较，并且该比较报告了跨训练阶段的变化，该阶段结合了合成和自然印度语数据，而非孤立合成语料库的贡献。语言覆盖范围因基准而异。这些提升支持合成和自然印度语 CPT 方案的组合，而其他模型和语言的混合选择则留待进一步研究。

配套的印度语报告使用十二种语言组的首轮接受数据检查了来源混合、合成数据池大小和文字覆盖。评估完整语料库（包括恢复的改写和其他十种语言）仍然是这些受控研究的下一步。

Nemotron 3.5 Super VL 中更广泛的印度语能力

除了 CPT 阶段结果外，发布的模型还与 Nemotron 3 Super 在印度语任务性能和语言质量方面进行了比较。这些结果反映了发布模型的完整训练流水线，包括印度语 CPT 和后训练。

Nemotron 3.5 Super VL 在所示的 六个任务基准中的五个 上得分更高，涵盖知识、推理、数学、代码和翻译。IFEval 1.5 上的指令跟随下降了 2.04 点。该模型还在所有四个 IndiVibe 维度上有所改进：有用性、流畅性、语言和文字保真度以及适当的简洁性。IndiVibe 是 Sarvam AI 的印度语言助手式提示的开放基准。

报告的 IndiVibe 数据是初步的条件偏好分数，而非直接的正面交锋胜率。标签显示百分点变化，但 WMT24++ 使用 chrF 点。

如何加载语料库

配置使用语言、文字和地区标签：例如，hi-Deva-IN 表示天城文的印地语，而 hi-Latn-IN 表示罗马化印地语。建议的起点是选择模型所需的语言和文字，检查样本，并在训练前查看数据集卡片和许可证。

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

data = load_dataset(
    dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))

Hugging Face Datasets 支持流式传输，因此读者可以在不下载整个语料库的情况下检查记录。一旦发布可用，建议固定数据集修订版本以实现可重现的实验。

对于首次训练研究，指导建议是在固定的 Token 预算下比较混合，记录自然/合成和本土/罗马化的比例，然后跟踪每种语言的结果以及英语能力保留和语言/文字质量。在创建保留拆分时，应考虑跨语言和文字源自同一来源的记录。

要构建更完整的方案，可以将语料库与 Nemotron 后训练数据（如 Chat & Instruction 或 Post-Training Blends 集合）配对。对于印度特定的合成数据，可以使用 Nemotron-Personas-India 为 NeMo Data Designer 提供种子，这是基于印度现实世界分布的英语和印地语合成角色。

如何调整生成方案

NeMo Data Designer 的开源 Nemotron Bharat 翻译插件 提供翻译和评估提示词、可选的基于反馈的改写、文档窗口化和文字重映射支持。其配置参考涵盖选择模型和语言、将提示词适配到领域以及设置改写参数。随附的开发者说明解释了工作流和工程选择。

建议的方法是从自己的源文档的小样本开始，检查翻译质量以及代码、数学和格式的保留情况，然后在使用母语审阅者完善提示词和检查后再扩大规模。生成和语料库接受被视为单独的步骤：插件返回候选和分数，而过滤策略决定哪些记录进入训练语料库。

范围和限制

翻译扩大了对源材料的访问，但不会取代最初用印度语言编写的文本，也不能保证覆盖当地知识和文化。NVIDIA 建议将此语料库与适当来源的自然印度语文本相结合，并评估所得混合数据是否适合预期用例。

质量评估主要是自动化的，辅以抽样人工审查，其覆盖范围因语言而异。在十二种语言工作流中，翻译器也充当评判者。保留的文本仍可能包含错误，十种语言工作流需要更广泛的母语者验证。来源 ID 检查可消除处理重复项；它们不是相似内容的语义去重。

除语料库外，印度理工学院马德拉斯分校的 AI4Bharat 在 NVIDIA 的支持下，正在构建 Indic-LLM-Eval-Suite，这是一个开放且不断发展的印度语模型能力基准集合，可帮助模型构建者评估任务性能和语言质量。

进一步阅读

配套报告为 Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs 和 Nemotron 3.5 Super VL and Lightning technical report，它们提供了语料库核算、生成方法、实验和评估细节。在基准方面，AI4Bharat 和 NVIDIA 的配套博客为 Better Models Need Better Benchmarks: Introducing Indic-LLM-Eval-Suite。

这项工作汇集了 NVIDIA、印度理工学院马德拉斯分校、AI4Bharat 和 Bodhan AI，并感谢 Google 的 Gemma、Bodhan AI 的 Indic Translate 和 NeMo Data Designer 的模型和工具贡献。其他 NVIDIA 数据资源可在 Nemotron Pre-Training Datasets 集合中找到。

Sources