Nemotron-pretraining-Indic-v1：NVIDIAとAI4Bharatが22のインド言語で2.8兆トークンを公開

NVIDIA、IITマドラス、およびIITマドラスのAI4Bharatラボは、Nemotron-pretraining-Indic-v1を発表しました。これは、22のインド言語にわたる約2.8兆トークンのコーパスであり、その構築に使用されたオープンでGPUアクセラレーションされたデータ生成パイプラインとともに間もなく公開されます。このリリースが重要なのは、インド言語モデリングにおける中心的なボトルネックであるトレーニングデータの不足に対処し、コーパスを再利用可能なレシピと組み合わせることで、チームが固定データセットを消費するだけでなく、自社のソースドキュメントからより多くのデータを生成できるようにするためです。

22の言語は、インド憲法に記載されている言語です。これらは、2011年の国勢調査でインド人の97%、つまり約12億人の市民の第一言語です。

正確に何がリリースされたか

このリリースには、コーパス自体とそれを生成したパイプラインの2つのコンポーネントがあります。パイプラインは、プロンプト、LLMワークフロー、品質チェックを含む完全な生成レシピをキャプチャしているため、開発者はそれを自社のソース資料に適応させることができます。

IITマドラスのインド言語研究ラボであるAI4Bharatは、インド言語向けのオープンソースのデータセットとモデルを構築しています。Sangraha（22のインド言語向けのオープンな事前トレーニングコーパス）などの以前のリソースは、オープンなインド言語モデル研究の基盤を築きました。新しい共同リリースは、コミュニティが利用できるオープンな合成インド語トレーニングデータの大幅な拡張であると説明されています。

このコーパスは、数学、コード、質疑応答コンテンツを含む、厳選された英語資料の幅広いミックスをインド言語にもたらします。すべてのレコードは厳選されたソースドキュメントに遡ることができ、各出力は入力に対してチェックされるため、合成テキストは実際の情報に基づいています。

AI4Bharatを率い、2025年のTIME100 AIリストに選ばれたMitesh Khapra氏は、中心的な問題を次のように挙げています。インドの言語技術は英語に遅れをとっているのは、「インドの言語には十分なデータがない」からです。このリリースは、より多くのデータと、より多くのデータを生成するためのオープンなレシピでそれに応えます。

コーパス構成：2,601.0億のネイティブスクリプトトークンと224.6億のローマ字化トークン

コーパスには、Gemma-4トークナイザーでカウントされた2,601.0億のネイティブスクリプトトークンと224.6億のローマ字化トークンが含まれています。ドキュメントレコードには、共有ソースの翻訳とスクリプトバリアントが含まれます。これらは、一意の英語ドキュメントの数ではありません。

コーパスは34の言語スクリプト構成に及び、2つのグループに分かれます。

  • ネイティブスクリプトおよびローマ字化データ（12言語）： ベンガル語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、ネパール語、オディア語、パンジャブ語、タミル語、テルグ語、ウルドゥー語。
  • ネイティブスクリプトデータのみ（10言語）： アッサム語、ボド語、ドグリ語、カシミール語、コンカニ語、マイティリー語、マニプリ語、サンスクリット語、サンタル語、シンド語。

このコーパスでは、ネイティブスクリプトは書記体系を表します。テキストは依然として英語から翻訳されています。ローマ字化とは、英語の翻訳ではなく、ラテン文字で書かれたインド言語のテキストを意味します。12の二重スクリプト言語のそれぞれについて、ローマ字化は受け入れられたネイティブスクリプト翻訳のサブセットをカバーします。

この区別は、トレーニング混合物を構築する際に重要です。ネイティブとローマ字化されたレコードは、異なるスクリプトへの露出を提供しますが、同じ基礎となるコンテンツを表現できます。トークン数は、受け入れられた書き換えを含む保持されたコーパスを説明しており、トレーニング実行のトークンバジェットではありません。カウントは使用されるトークナイザーにも依存するため、コーパスインベントリとトレーニングトークン数は別々に読む必要があります。

12言語ワークフロー：翻訳、評価、修復、ローマ字化

コーパスは、15のNemotron-CC-v2サブセットから引き出されたドキュメントから始まり、ウェブテキスト、質疑応答資料、数学、コード、その他の専門コンテンツをカバーしています。NVIDIAのオープンソースNeMo Data Designerフレームワークは、翻訳、品質チェック、およびターゲットを絞った修復を実行します。ワークフロー全体を通じて、各ソース識別子が保持されるため、開発者は出力を元のドキュメントに遡ることができます。

12言語パイプラインには4つのステージがあります。

  1. ドキュメントレベルの翻訳。 モデルが段落、表、数式全体のコンテキストを使用できるように、ドキュメントは完全に翻訳されます。Gemma-4-31B-itは、完全なドキュメントでモデルを比較し、翻訳品質と技術コンテンツの保存をチェックして選択されました。プロンプトは、翻訳する散文と、コード、数式、URL、フォーマットを含む保存するコンテンツを区別します。
  2. 品質評価。 同じモデルが、翻訳エラーをタイプと重大度で分類するオープンフレームワークであるMultidimensional Quality Metrics（MQM）に触発されたルーブリックを使用して、各出力を英語のソースに対して評価します。ルーブリックは、意味、流暢さ、用語、スタイル、フォーマットをカバーします。100点中75点以上のスコアを獲得した出力のみが保持されます。これはルーブリックスコアであり、精度のパーセンテージではありません。
  3. ターゲットを絞った修復。 スコアが低い出力については、評価フィードバックが修復をガイドし、その後同じしきい値に対して再評価されます。このプロセスにより、ネイティブスクリプトとローマ字化データの両方で4,384億トークンが回復され、コーパス合計にすでに含まれています。サンプリングされた人間によるレビューと、意図的にエラーを導入したテストは、省略と残存英語を特定するのに役立ち、プロンプトとチェックの改善に情報を提供しました。
  4. ローマ字化。 受け入れられたネイティブスクリプト翻訳は、ローマ字化データの出発点を提供します。サブセットはラテン文字に変換され、各結果はネイティブスクリプト入力に対してチェックされます。初期の人間による比較では、この2段階のアプローチは、英語から直接ローマ字化テキストを生成するよりも、幻覚的な追加と残存英語が少なくなりました。

10言語ワークフロー：異なる翻訳モデルとスクリプト処理

他の10言語については、比較で観察された長文ドキュメントの品質とスクリプトの安定性の問題に対処するためにワークフローが適応されています。翻訳には、IITマドラスでインキュベートされた教育におけるAIのための非営利センターであるBodhan AIによる、英語と22のインド言語のためのドキュメントレベルの翻訳モデルであるIndic Translateを使用します。次に、Gemma-4-31B-itが各翻訳を英語のソースに対して評価します。

2つの言語は特別な処理を必要とします。

  • より長いサンタル語ドキュメントの場合、パイプラインは重複するウィンドウを翻訳し、ドキュメントを再構築します。
  • マニプリ語の場合、パイプラインはベンガル文字に翻訳してから、ネイティブスクリプトであるMeitei Mayekに変換します。

8つの言語はドキュメント全体のアプローチを維持します。これらのワークフローは、100点中75点以上のスコアを獲得した出力を保持し、フィードバックベースの書き換えなしでネイティブスクリプトデータのみを生成します。

インド語継続事前トレーニング後に変更された点

Nemotron 3.5 Super VLテクニカルレポートは、インド語継続事前トレーニング（CPT）の直前のチェックポイントと、そのステージ後のチェックポイントを比較しています。構成されたバジェットは1,000億トレーニングトークンで、**10%（100億トークン）**が合成および自然なインド語テキストの混合物に割り当てられました。残りの90%は、以前のトレーニング混合物の相対的な割合を維持しました。

報告された5つのインド語知識および推論ベンチマークすべてでスコアが向上しました：MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K。向上幅は4.98から9.82パーセンテージポイントの範囲です。GSM8Kは、評価がサービングコンテキスト制限を超えたため、オディア語を除外しています。

これらはステージレベルのチェックポイントであり、最終モデルリリースの比較ではなく、比較は合成データと自然なインド語データを組み合わせたトレーニングステージ全体の変化を報告しており、合成コーパスの寄与を分離していません。言語カバレッジはベンチマークによって異なります。向上は、合成と自然を組み合わせたインド語CPTレシピをサポートしますが、他のモデルと言語の混合物の選択はさらなる研究に委ねられます。

付随するインド語レポートは、12言語グループのファーストパス受け入れデータを使用して、ソース混合物、合成データプールサイズ、スクリプトカバレッジを調査します。回復された書き換えや他の10言語を含む完全なコーパスの評価は、これらの管理された研究の次のステップとして残っています。

Nemotron 3.5 Super VLのより広範なインド語機能

CPTステージの結果に加えて、リリースされたモデルは、インド語タスクのパフォーマンスと言語品質にわたってNemotron 3 Superと比較されました。これらの結果は、インド語CPTとポストトレーニングを含む、リリースされたモデルの完全なトレーニングパイプラインを反映しています。

Nemotron 3.5 Super VLは、知識、推論、数学、コード、翻訳にわたる、示されている6つのタスクベンチマークのうち5つで高いスコアを獲得しています。IFEval 1.5での指示追従は2.04ポイント低下しました。モデルはまた、IndiVibeの4つの次元すべてで改善を示しています：有用性、流暢さ、言語とスクリプトの忠実度、適切な冗長性。IndiVibeは、インド言語でのアシスタントスタイルのプロンプトのSarvam AIのオープンベンチマークです。

報告されたIndiVibeの数値は、直接のヘッドツーヘッドの勝率ではなく、予備的な条件付き選好スコアです。ラベルはパーセンテージポイントの変化を示していますが、WMT24++はchrFポイントを使用しています。

コーパスの読み込み方法

構成は、言語、スクリプト、地域タグを使用します：たとえば、hi-Deva-INはデーヴァナーガリー文字のヒンディー語を示し、hi-Latn-INはローマ字化されたヒンディー語を示します。推奨される開始点は、モデルに必要な言語とスクリプトを選択し、サンプルを検査し、トレーニング前にデータセットカードとライセンスを確認することです。

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

data = load_dataset(
    dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))

Hugging Face Datasetsはストリーミングをサポートしているため、読者はコーパス全体をダウンロードせずにレコードを検査できます。リリースが利用可能になったら、再現可能な実験のためにデータセットリビジョンを固定することをお勧めします。

最初のトレーニング研究では、固定トークンバジェットで混合物を比較し、自然/合成およびネイティブ/ローマ字化の割合を記録し、英語機能の保持と言語/スクリプト品質とともに言語ごとの結果を追跡することをガイダンスとしています。保持された分割を作成するときは、言語とスクリプトにわたって同じソースから派生したレコードを考慮する必要があります。

より完全なレシピを構築するために、コーパスをNemotronポストトレーニングデータ（Chat & InstructionやPost-Training Blendsコレクションなど）と組み合わせることができます。インド固有の合成データについては、NeMo Data DesignerにNemotron-Personas-India（インドの現実世界の分布に基づく英語とヒンディー語の合成ペルソナ）をシードできます。

生成レシピの適応方法

NeMo Data Designer用のオープンソースNemotron Bharat翻訳プラグインは、翻訳と評価のプロンプト、オプションのフィードバックベースの書き換え、ドキュメントウィンドウ処理、スクリプト再マッピングサポートを提供します。その構成リファレンスは、モデルと言語の選択、ドメインへのプロンプトの適応、書き換えパラメータの設定をカバーしています。付随する開発者ノートは、ワークフローとエンジニアリングの選択を説明しています。

推奨されるアプローチは、独自のソースドキュメントの小さなサンプルから始め、翻訳品質とコード、数学、フォーマットの保存を検査し、ネイティブ言語のレビュー担当者とプロンプトとチェックを改良してからスケールアップすることです。生成とコーパス受け入れは別々のステップとして扱われます：プラグインは候補とスコアを返し、フィルタリングポリシーがどのレコードがトレーニングコーパスに入るかを決定します。

範囲と制限

翻訳はソース資料へのアクセスを広げますが、元々インド言語で書かれたテキストを置き換えるものではなく、地域の知識と文化のカバレッジを保証するものではありません。NVIDIAは、このコーパスを適切にソースされた自然なインド語テキストと組み合わせ、意図されたユースケースに対して結果の混合物を評価することを推奨しています。

品質評価は主に自動化されており、サンプリングされた人間によるレビューが補完されており、そのカバレッジは言語によって異なります。12言語ワークフローでは、翻訳者が審査員も兼ねます。保持されたテキストには依然としてエラーが含まれる可能性があり、10言語ワークフローはより広範なネイティブスピーカーによる検証が必要です。ソースIDチェックは処理の重複を削除します。これらは類似コンテンツの意味論的な重複排除ではありません。

コーパスに加えて、NVIDIAのサポートを受けたIITマドラスのAI4Bharatは、モデルビルダーがタスクパフォーマンスと言語品質の両方を評価するのに役立つ、インドモデル機能のためのオープンで進化するベンチマークコレクションであるIndic-LLM-Eval-Suiteを構築しています。

参考文献

付随するレポートは、Scaling Synthetic Pre-training Data and Evaluation for Indic LLMsとNemotron 3.5 Super VL and Lightning technical reportであり、コーパスの会計、生成方法、実験、評価の詳細を提供しています。ベンチマーク側では、AI4BharatとNVIDIAの付随ブログはBetter Models Need Better Benchmarks: Introducing Indic-LLM-Eval-Suiteです。

この作業は、NVIDIA、IITマドラス、AI4Bharat、Bodhan AIを結集し、GoogleのGemma、Bodhan AIのIndic Translate、NeMo Data Designerからのモデルとツールの貢献を認めています。追加のNVIDIAデータリソースは、Nemotron Pre-Training Datasetsコレクションで利用できます。

Sources