NVIDIA-NeMo/Nemotron

What it solves

Nemotron은 오픈형 고효율 멀티모달 모델과 이를 학습·배포·구현하기 위한 완전한 인프라를 제공합니다. 이론적인 모델 아키텍처와 실제 운영 가능한 에이전트 AI 사이의 격차를 메우며, 코딩, 수학, 과학적 추론, 도구 호출에 뛰어난 모델을 위한 재현 가능한 학습 레시피를 제공합니다.

How it works

프로젝트는 네 가지 주요 구성 요소로 구성됩니다:

• Nemotron Steps: CLI 기반 모듈형 빌딩 블록(스텝) 시스템으로, 데이터 큐레이션, 합성 데이터 생성(SDG), 사전 학습, 지도 미세조정(SFT), 강화 학습(RL) 등 전체 모델 라이프사이클을 포괄합니다.
• Training Recipes: 이러한 스텝을 결합해 Nemotron 3 Ultra(550B MoE), Super(120B MoE), Nano(30B MoE) 모델 등 특정 모델을 구축하는 완전하고 재현 가능한 파이프라인입니다.
• Usage Cookbooks: TensorRT-LLM 및 NIM 마이크로서비스와 같은 도구를 사용해 엣지 디바이스부터 멀티 GPU 데이터센터까지 다양한 환경에서 모델을 배포하는 실용 가이드입니다.
• Use Case Examples: 에이전트 워크플로, RAG 시스템, 도구 통합의 엔드투엔드 구현 예시입니다.

Who it’s for

이 저장소는 AI 연구자와 개발자를 위해 설계되었으며, 고성능 LLM 및 멀티모달 모델을 구축·미세조정·배포하고자 하는, 특히 NVIDIA 하드웨어 스택을 활용하는 에이전트 AI 애플리케이션에 적합합니다.

Highlights

• Hybrid Architectures: Mamba-Attention과 Mixture-of-Experts(MoE)를 활용해 추론 능력과 추론 처리량 사이의 균형을 맞춥니다.
• Multimodal Capabilities: Nano Omni 모델은 텍스트, 이미지, 비디오, 오디오를 단일 디코더에서 네이티브로 지원합니다.
• Full Lifecycle Tooling: 원시 데이터 준비와 합성 데이터 생성부터 RLVR 및 MPO 정렬까지 모든 과정을 포괄하는 도구를 제공합니다.
• Extensive Context: 최대 100만 토큰의 컨텍스트 길이를 지원해 복잡한 연구 및 엔터프라이즈 워크플로에 적합합니다.