Nemotron-pretraining-Indic-v1: NVIDIA 및 AI4Bharat, 22개 인도 언어에 걸쳐 2.8조 토큰 공개

NVIDIA, IIT Madras 및 IIT Madras의 AI4Bharat 연구소는 약 22개 인도 언어에 걸친 2.8조 개의 토큰으로 구성된 코퍼스인 Nemotron-pretraining-Indic-v1을 발표했으며, 이를 구축하는 데 사용된 오픈 소스 GPU 가속 데이터 생성 파이프라인과 함께 곧 공개할 예정입니다. 이번 공개가 중요한 이유는 인도 언어 모델링의 핵심 병목 현상인 불충분한 훈련 데이터를 겨냥하고, 고정된 데이터 세트만 소비하는 것이 아니라 팀이 자체 소스 문서에서 더 많은 데이터를 생성할 수 있도록 재사용 가능한 레시피와 코퍼스를 함께 제공하기 때문입니다.

22개 언어는 인도 헌법에 명시된 언어들입니다. 이 언어들은 2011년 인구 조사 기준 인도인의 97%, 즉 거의 12억 명의 시민에게 모국어입니다.

정확히 무엇이 공개되었나

이번 공개는 코퍼스 자체와 이를 생성한 파이프라인의 두 가지 구성 요소로 이루어져 있습니다. 파이프라인은 프롬프트, LLM 워크플로우 및 품질 검사를 포함한 전체 생성 레시피를 포착하므로 개발자는 이를 자체 소스 자료에 맞게 조정할 수 있습니다.

IIT Madras의 인도 언어 연구소인 AI4Bharat은 인도 언어를 위한 오픈 소스 데이터 세트와 모델을 구축합니다. 22개 인도 언어를 위한 오픈 사전 훈련 코퍼스인 Sangraha와 같은 초기 리소스는 오픈 인도 언어 모델 연구의 토대를 마련했습니다. 새로운 공동 공개는 커뮤니티에서 사용할 수 있는 오픈 합성 인도 훈련 데이터의 상당한 확장으로 설명됩니다.

이 코퍼스는 수학, 코드 및 질문-답변 콘텐츠를 포함한 엄선된 영어 자료의 광범위한 혼합을 인도 언어로 가져옵니다. 모든 레코드는 엄선된 소스 문서로 추적되며 각 출력은 입력에 대해 확인되므로 합성 텍스트는 실제 정보에 기반을 유지합니다.

AI4Bharat을 이끌고 2025 TIME100 AI 목록에 선정된 Mitesh Khapra는 핵심 문제를 지적했습니다. 인도 언어 기술은 "인도 언어에 대한 충분한 데이터가 없기 때문에" 영어보다 뒤처져 있습니다. 이번 공개는 더 많은 데이터와 더 많은 데이터를 생성하기 위한 오픈 레시피로 이에 대응합니다.

코퍼스 구성: 2,601.0억 개의 원어 스크립트 토큰 및 224.6억 개의 로마자 표기 토큰

코퍼스에는 Gemma-4 토크나이저로 계산된 2,601.0억 개의 원어 스크립트 토큰과 224.6억 개의 로마자 표기 토큰이 포함되어 있습니다. 문서 레코드에는 공유 소스의 번역 및 스크립트 변형이 포함됩니다. 이는 고유한 영어 문서의 수가 아닙니다.

코퍼스는 34개의 언어-스크립트 구성에 걸쳐 있으며 두 그룹으로 나뉩니다.

  • 원어 스크립트 및 로마자 표기 데이터(12개 언어): 벵골어, 구자라트어, 힌디어, 칸나다어, 말라얄람어, 마라티어, 네팔어, 오디아어, 펀자브어, 타밀어, 텔루구어, 우르두어.
  • 원어 스크립트 데이터만 해당(10개 언어): 아삼어, 보도어, 도그리어, 카슈미르어, 콘카니어, 마이틸리어, 마니푸리어, 산스크리트어, 산탈리어, 신디어.

이 코퍼스에서 원어 스크립트는 문자 체계를 설명합니다. 텍스트는 여전히 영어에서 번역된 것입니다. 로마자 표기는 영어 번역이 아닌 라틴 문자로 작성된 인도어 텍스트를 의미합니다. 12개의 이중 스크립트 언어 각각에 대해 로마자 표기는 허용된 원어 스크립트 번역의 하위 집합을 포함합니다.

이 구분은 훈련 혼합을 구성할 때 중요합니다. 원어 및 로마자 표기 레코드는 서로 다른 스크립트 노출을 제공하지만 동일한 기본 콘텐츠를 표현할 수 있습니다. 토큰 수는 허용된 재작성을 포함한 유지된 코퍼스를 설명하며 훈련 실행의 토큰 예산이 아닙니다. 수는 사용된 토크나이저에 따라 달라지므로 코퍼스 인벤토리와 훈련 토큰 수는 별도로 읽어야 합니다.

12개 언어 워크플로우: 번역, 평가, 수리, 로마자 표기

코퍼스는 웹 텍스트, 질문-답변 자료, 수학, 코드 및 기타 전문 콘텐츠를 포함하는 15개의 Nemotron-CC-v2 하위 집합에서 가져온 문서로 시작합니다. NVIDIA의 오픈 소스 NeMo Data Designer 프레임워크는 번역, 품질 검사 및 대상 수리를 실행합니다. 워크플로우 전반에 걸쳐 각 소스 식별자가 유지되어 개발자가 출력을 원본 문서로 추적할 수 있습니다.

12개 언어 파이프라인에는 4단계가 있습니다.

  1. 문서 수준 번역. 문서는 모델이 문단, 표 및 방정식 전반에 걸쳐 컨텍스트를 사용할 수 있도록 전체적으로 번역됩니다. Gemma-4-31B-it은 전체 문서에서 모델을 비교하고 번역 품질과 기술 콘텐츠 보존을 확인하여 선택되었습니다. 프롬프트는 코드, 방정식, URL 및 서식을 포함하여 보존할 콘텐츠와 번역할 산문을 구분합니다.
  2. 품질 평가. 동일한 모델이 다차원 품질 지표(MQM)에서 영감을 받은 루브릭을 사용하여 각 출력을 영어 소스와 비교하여 평가합니다. MQM은 유형과 심각도별로 번역 오류를 분류하는 오픈 프레임워크입니다. 루브릭은 의미, 유창성, 용어, 스타일 및 서식을 다룹니다. 100점 만점에 75점 이상을 받은 출력만 유지됩니다. 이는 정확도 백분율이 아닌 루브릭 점수입니다.
  3. 대상 수리. 점수가 낮은 출력의 경우 평가 피드백이 수리를 안내한 다음 동일한 임계값에 대해 재평가됩니다. 이 프로세스는 원어 스크립트 및 로마자 표기 데이터에서 4,384억 개의 토큰을 복구했으며 이미 코퍼스 총계에 포함되어 있습니다. 샘플링된 인간 검토와 의도적으로 오류를 주입한 테스트는 누락 및 잔여 영어를 식별하는 데 도움이 되었으며 프롬프트 및 검사 개선에 정보를 제공했습니다.
  4. 로마자 표기. 승인된 원어 스크립트 번역은 로마자 표기 데이터의 시작점을 제공합니다. 하위 집합은 라틴 문자로 변환되고 각 결과는 원어 스크립트 입력에 대해 확인됩니다. 초기 인간 비교에서 이 2단계 접근 방식은 영어에서 로마자 표기 텍스트를 직접 생성하는 것보다 환각 추가 및 잔여 영어가 더 적었습니다.

10개 언어 워크플로우: 다른 번역 모델 및 스크립트 처리

다른 10개 언어의 경우 워크플로우는 비교에서 관찰된 긴 문서 품질 및 스크립트 안정성 문제를 해결하기 위해 조정되었습니다. 번역에는 IIT Madras에서 시작된 AI 교육을 위한 비영리 센터인 Bodhan AI의 영어 및 22개 인도 언어를 위한 문서 수준 번역 모델인 Indic Translate를 사용합니다. 그런 다음 Gemma-4-31B-it이 각 번역을 영어 소스와 비교하여 평가합니다.

두 언어는 특별한 처리가 필요합니다.

  • 더 긴 산탈리어 문서의 경우 파이프라인은 겹치는 창을 번역하고 문서를 재구성합니다.
  • 마니푸리어의 경우 파이프라인은 고유 스크립트인 메이테이 마옉으로 변환하기 전에 벵골어 스크립트로 번역합니다.

8개 언어는 전체 문서 접근 방식을 유지합니다. 이러한 워크플로우는 100점 만점에 75점 이상을 받은 출력을 유지하고 피드백 기반 재작성 없이 원어 스크립트 데이터만 생성합니다.

인디언 지속 사전 훈련 후 변경 사항

Nemotron 3.5 Super VL 기술 보고서는 인디언 지속 사전 훈련(CPT) 직전의 체크포인트와 해당 단계 이후의 체크포인트를 비교합니다. 구성된 예산은 1,000억 개의 훈련 토큰이며, **10%(100억 개 토큰)**는 합성 및 자연 인도 텍스트의 혼합에 할당되었습니다. 나머지 90%는 이전 훈련 혼합의 상대적 비율을 유지했습니다.

보고된 5개의 인도 지식 및 추론 벤치마크 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy 및 Indic GSM8K 모두에서 점수가 증가했습니다. 향상 폭은 4.98~9.82퍼센트 포인트입니다. GSM8K는 평가가 서빙 컨텍스트 제한을 초과했기 때문에 오디아어를 제외합니다.

이는 최종 모델 릴리스의 비교가 아닌 단계 수준 체크포인트이며, 비교는 합성 코퍼스의 기여를 분리하지 않고 합성 및 자연 인도 데이터를 결합한 훈련 단계의 변화를 보고합니다. 언어 범위는 벤치마크에 따라 다릅니다. 이러한 향상은 결합된 합성 및 자연 인도 CPT 레시피를 지원하지만 다른 모델 및 언어에 대한 혼합 선택은 추가 연구에 맡깁니다.

함께 제공되는 인도 보고서는 12개 언어 그룹에 대한 첫 번째 통과 승인 데이터를 사용하여 소스 혼합, 합성 데이터 풀 크기 및 스크립트 범위를 조사합니다. 복구된 재작성 및 기타 10개 언어를 포함한 전체 코퍼스 평가는 이러한 통제된 연구의 다음 단계로 남아 있습니다.

Nemotron 3.5 Super VL의 광범위한 인도 기능

CPT 단계 결과 외에도 공개된 모델은 인도 작업 성능 및 언어 품질 전반에 걸쳐 Nemotron 3 Super와 비교되었습니다. 이러한 결과는 인도 CPT 및 사후 훈련을 포함한 공개된 모델의 전체 훈련 파이프라인을 반영합니다.

Nemotron 3.5 Super VL은 지식, 추론, 수학, 코드 및 번역을 포괄하는 표시된 6개 작업 벤치마크 중 5개에서 더 높은 점수를 받았습니다. IFEval 1.5의 지시 따르기는 2.04포인트 하락했습니다. 모델은 또한 IndiVibe의 4가지 차원 모두에서 개선되었습니다: 유용성, 유창성, 언어 및 스크립트 충실도, 적절한 장황함. IndiVibe는 인도 언어로 된 어시스턴트 스타일 프롬프트의 Sarvam AI 오픈 벤치마크입니다.

보고된 IndiVibe 수치는 직접적인 헤드투헤드 승률이 아닌 예비 조건부 선호도 점수입니다. 레이블은 WMT24++가 chrF 포인트를 사용하는 것을 제외하고 퍼센트 포인트의 변화를 보여줍니다.

코퍼스 로드 방법

구성은 언어, 스크립트 및 지역 태그를 사용합니다. 예를 들어 hi-Deva-IN은 데바나가리 문자로 된 힌디어를 나타내고 hi-Latn-IN은 로마자 표기 힌디어를 나타냅니다. 권장 시작점은 모델에 필요한 언어와 스크립트를 선택하고, 샘플을 검사하고, 훈련 전에 데이터 세트 카드와 라이선스를 검토하는 것입니다.

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

data = load_dataset(
    dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))

Hugging Face Datasets는 스트리밍을 지원하므로 독자는 전체 코퍼스를 다운로드하지 않고도 레코드를 검사할 수 있습니다. 릴리스를 사용할 수 있게 되면 재현 가능한 실험을 위해 데이터 세트 개정판을 고정하는 것이 좋습니다.

첫 번째 훈련 연구의 경우 고정 토큰 예산에서 혼합을 비교하고 자연/합성 및 원어/로마자 표기 비율을 기록한 다음 영어 능력 유지 및 언어/스크립트 품질과 함께 언어별 결과를 추적하는 것이 좋습니다. 보류 분할을 만들 때 언어 및 스크립트 전반에 걸쳐 동일한 소스에서 파생된 레코드를 고려해야 합니다.

더 완전한 레시피를 구축하기 위해 코퍼스를 Chat & Instruction 또는 Post-Training Blends 컬렉션과 같은 Nemotron 사후 훈련 데이터와 결합할 수 있습니다. 인도 특화 합성 데이터의 경우 NeMo Data Designer는 인도 실세계 분포에 기반한 영어 및 힌디어 합성 페르소나인 Nemotron-Personas-India로 시드할 수 있습니다.

생성 레시피를 적용하는 방법

NeMo Data Designer용 오픈 소스 Nemotron Bharat 번역 플러그인은 번역 및 평가 프롬프트, 선택적 피드백 기반 재작성, 문서 창 처리 및 스크립트 재매핑 지원을 제공합니다. 구성 참조는 모델 및 언어 선택, 도메인에 맞는 프롬프트 조정, 재작성 매개변수 설정을 다룹니다. 함께 제공되는 개발자 노트는 워크플로우와 엔지니어링 선택을 설명합니다.

권장 접근 방식은 자체 소스 문서의 작은 샘플로 시작하여 번역 품질과 코드, 수학 및 서식 보존을 검사한 다음 원어민 검토자와 함께 프롬프트와 검사를 개선한 후 확장하는 것입니다. 생성과 코퍼스 승인은 별도의 단계로 처리됩니다. 플러그인은 후보와 점수를 반환하고 필터링 정책은 훈련 코퍼스에 들어갈 레코드를 결정합니다.

범위 및 제한 사항

번역은 소스 자료에 대한 접근성을 넓히지만 원래 인도 언어로 작성된 텍스트를 대체하거나 지역 지식과 문화의 적용 범위를 보장하지 않습니다. NVIDIA는 이 코퍼스를 적절하게 소싱된 자연 인도 텍스트와 결합하고 의도된 사용 사례에 대해 결과 혼합을 평가할 것을 권장합니다.

품질 평가는 주로 자동화되어 있으며 언어에 따라 적용 범위가 다른 샘플링된 인간 검토로 보완됩니다. 12개 언어 워크플로우에서 번역가는 또한 심사자 역할을 합니다. 유지된 텍스트에는 여전히 오류가 포함될 수 있으며 10개 언어 워크플로우는 더 광범위한 원어민 검증이 필요합니다. 소스 ID 검사는 처리 중복을 제거합니다. 이는 유사한 콘텐츠의 의미론적 중복 제거가 아닙니다.

코퍼스와 함께 IIT Madras의 AI4Bharat은 NVIDIA의 지원을 받아 인도 모델 기능에 대한 오픈 소스이자 진화하는 벤치마크 모음인 Indic-LLM-Eval-Suite를 구축하여 모델 빌더가 작업 성능과 언어 품질을 모두 평가할 수 있도록 돕고 있습니다.

추가 자료

함께 제공되는 보고서는 Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs 및 Nemotron 3.5 Super VL and Lightning technical report로, 코퍼스 회계, 생성 방법, 실험 및 평가 세부 정보를 제공합니다. 벤치마크 측면에서 AI4Bharat 및 NVIDIA의 동반 블로그는 Better Models Need Better Benchmarks: Introducing Indic-LLM-Eval-Suite입니다.

이 작업은 NVIDIA, IIT Madras, AI4Bharat 및 Bodhan AI를 함께 모았으며 Google의 Gemma, Bodhan AI의 Indic Translate 및 NeMo Data Designer의 모델 및 도구 기여를 인정합니다. 추가 NVIDIA 데이터 리소스는 Nemotron Pre-Training Datasets 컬렉션에서 사용할 수 있습니다.

Sources