NVIDIA-NeMo/Curator

해결하는 문제

NeMo Curator는 AI 훈련을 위한 대규모 데이터셋을 준비하는 과제를 해결합니다. 임시 스크립트와 일회성 노트북을 반복 가능하고 GPU 가속화된 파이프라인으로 대체하여 단일 노트북에서 다중 노드 GPU 클러스터까지 확장할 수 있으며, 필터링, 중복 제거, 변환을 통해 고품질 데이터를 보장합니다.

작동 방식

이 시스템은 스테이지와 실행기를 기반으로 한 모듈식 아키텍처를 사용합니다. 각 스테이지는 데이터 로딩, 필터링, 중복 제거와 같은 특정 작업을 처리하고 자체 리소스 요구 사항을 선언합니다. 이러한 스테이지는 데이터를 동시에 스트리밍하는 파이프라인으로 연결되어 CPU와 GPU 작업을 중첩하여 하드웨어 활용도를 극대화합니다. NVIDIA RAPIDS(cuDF, cuML, cuGraph)와 Ray를 활용하여 분산 환경에서 높은 처리량을 달성합니다.

대상 사용자

최첨단 AI 모델 훈련을 위해 대규모 멀티모달 데이터셋(텍스트, 이미지, 비디오, 오디오)을 처리하고 큐레이션해야 하는 ML 엔지니어와 데이터 팀.

주요 특징

• 멀티모달 지원: 텍스트(중복 제거, 언어 감지), 이미지(심미적 필터링, NSFW 감지), 비디오(장면 감지, 모션 필터링), 오디오(ASR 전사, 품질 평가)를 위한 즉시 사용 가능한 빌딩 블록.
• GPU 가속화: H100 노드에서 퍼지 중복 제거 시간을 10.7시간에서 0.65시간으로 줄이는 등 데이터 처리 속도가 크게 향상됩니다.
• 분산 확장: Ray와 Slurm을 기본 지원하여 다중 노드 HPC 클러스터에서 파이프라인을 실행할 수 있습니다.
• 합성 데이터 생성: LLM 기반 합성 데이터 워크플로우를 파이프라인에 직접 통합할 수 있는 OpenAI 호환 추론 서버를 포함합니다.
• 대규모 검증: NVIDIA Nemotron 모델을 위한 8조 개 이상의 토큰으로 구성된 다국어 웹 데이터셋을 큐레이션하는 데 사용되었습니다.