NVIDIA-NeMo/Nemotron

NVIDIA-NeMo / Nemotron – 빠른 개요

이것은 무엇인가 – Nemotron은 에이전트형 AI를 위해 구축된 NVIDIA의 오픈소스 대규모 멀티모달 기반 모델(텍스트, 이미지, 비디오, 오디오) 제품군입니다. 저장소에는 다음이 포함됩니다:

• 모델 제품군 – Nano(엣지), Lightning(고처리량 에이전트), Super(단일 GPU 고처리량), Ultra(데이터센터 규모), Omni(멀티모달 인식).
• 학습 레시피 – 원시 오픈소스 데이터에서 사전 학습, 지도 미세 조정(SFT), 강화 학습(RL/RLVR), 다중 교사 증류(MOPD) 및 양자화와 같은 후처리 단계를 거치는 종단 간 재현 가능한 파이프라인.
• Nemotron Steps – 각 단계(데이터 큐레이션, 합성 데이터 생성, 사전 학습, PEFT, RL, 변환, 최적화, 평가 등)를 위한 모듈식 CLI 기반 빌딩 블록(nemotron steps).
• 사용 쿡북 및 예제 – NVIDIA의 추론 스택(NeMo, TensorRT-LLM, vLLM, SGLang, NIM 마이크로서비스)으로 모델을 배포하는 방법과 에이전트형 워크플로(RAG, 도구 호출, 비전-언어 추론)에 통합하는 방법을 보여주는 Jupyter 노트북 및 스크립트.

왜 중요한가 – 모델은 효율성(혼합 전문가, 하이브리드 Mamba-Transformer, 다중 토큰 예측)을 위해 설계되었으며 단일 GPU에서 실행하거나 다중 GPU 데이터센터로 확장할 수 있습니다. 완전히 공개되어 있습니다: 학습 데이터, 기술, 모델 가중치는 Apache 2.0 라이선스로 Hugging Face에 공개됩니다.

---

주요 구성 요소

구성 요소	제공 내용	일반적인 사용 사례
Nemotron Steps CLI	모든 학습/평가 단계를 위한 재사용 가능한 구성 기반 유닛.	사용자 정의 파이프라인 구축 또는 단일 단계(예: 데이터 큐레이션) 실행.
학습 레시피	각 모델 계층(Ultra, Super, 3.5 Super, Lightning, Nano, Omni)에 대한 전체 스크립트 및 구성.	NVIDIA가 사용한 정확한 학습 흐름을 재현하거나 자체 데이터에 맞게 조정.
사용 쿡북	배포, 추론, 에이전트형 애플리케이션을 위한 Jupyter 노트북.	TensorRT-LLM으로 모델 서빙 또는 멀티모달 에이전트 구축을 위한 빠른 시작.
사용 사례 예제	종단 간 데모(RAG, 도구 호출, 비전-언어 에이전트).	Nemotron을 실제 에이전트형 워크플로에 연결하는 방법 학습.
Claude-Code 플러그인	nemotron-customize는 단계 카탈로그를 Claude Code 내의 안내식 파이프라인 빌더로 변환합니다.	비프로그래머도 대화형 UI를 통해 학습 파이프라인을 조립할 수 있습니다.

---

모델 하이라이트(README 기준)

• Nemotron 3.5 Super – 총 120 B / 활성 12 B 파라미터, 하이브리드 Mamba-Transformer + LatentMoE, 멀티모달(텍스트-이미지-비디오), 1 M 토큰 컨텍스트, 다중 토큰 예측.
• Nemotron 3.5 Lightning – 총 30 B / 활성 3 B, 장기 실행 에이전트에서 빠르고 대용량 작업 실행에 최적화.
• Nemotron 3 Ultra – 총 550 B / 활성 55 B, 데이터센터 규모, 1 M 컨텍스트, 오픈소스 가중치.
• Nemotron 3 Nano Omni – 총 30 B / 활성 3 B, 텍스트, 이미지, 비디오, 오디오를 기본 지원하며 인식 하위 에이전트로 사용됩니다.

모든 모델은 NVIDIA의 추론 스택(TensorRT-LLM, NIM 마이크로서비스)을 통한 배포를 지원하며 동일한 스텝 기반 프레임워크로 추가 미세 조정할 수 있습니다.

---

시작하기(높은 수준)

1. 저장소를 클론하고 종속성을 설치합니다(Python 3.10+, pyproject.toml).
2. 스텝 또는 레시피 선택 – 예: nemotron steps run data_prep/curate 또는 전체 src/nemotron/recipes/super3 파이프라인 실행.
3. 구성 – src/nemotron/steps/* 아래의 YAML 구성을 편집하거나 제공된 Jupyter 노트북을 사용합니다.
4. 실행 – CLI가 아티팩트 추적, 환경 프로필, 분산 실행을 처리합니다.
5. 배포 – 사용 쿡북에 따라 학습된 체크포인트를 TensorRT-LLM 또는 NIM으로 서빙합니다.

---

이 저장소를 봐야 할 사람

• 대규모 멀티모달 LLM 학습의 참조 구현을 원하는 연구자.
• 효율적이고 오픈소스 기반 모델이 필요한 에이전트형 AI 시스템을 구축하는 엔지니어.
• 데이터, RL 또는 양자화를 실험하기 위해 유연하고 모듈식 파이프라인(스텝 시스템)이 필요한 팀.
• 엣지, 단일 GPU 또는 데이터센터 하드웨어에서 최첨단 멀티모달 모델을 배포하는 데 관심이 있는 모든 사람.

---

결론 – NVIDIA-NeMo / Nemotron은 모델 정의, 학습 레시피, 배포 가이드, 에이전트형 AI 애플리케이션 구축 도구를 포함하는 진정한 프로덕션급 오픈소스 프로젝트입니다.