huggingface/nanotron

Minimalistic large language model 3D-parallelism training

해결하는 문제

Nanotron은 transformer 모델 사전 학습의 복잡한 과정을 단순화합니다. 확장 가능하고 고성능인 프레임워크를 제공하여 사용자가 기본 분산 학습 인프라를 처음부터 구축할 필요 없이 사용자 지정 데이터셋으로 모델을 학습할 수 있도록 합니다.

작동 방식

유연한 API와 고급 분산 학습 기술을 활용하는 최적화된 학습 스크립트 세트를 제공합니다. 이 라이브러리는 3D 병렬 처리(데이터, 텐서, 파이프라인 병렬 처리 결합)와 Mixture-of-Experts (MoE) 모델을 위한 전문가 병렬 처리를 구현하여 여러 GPU와 노드에 걸쳐 워크로드를 효율적으로 분산합니다.

대상 사용자

대규모 언어 모델 (LLMs) 또는 기타 transformer 기반 아키텍처를 사전 학습해야 하며, 사용하기 쉽고 대규모 컴퓨팅 클러스터로 확장 가능한 도구가 필요한 연구원 및 엔지니어를 위해 설계되었습니다.

주요 특징

  • 3D 병렬 처리: 데이터 병렬 처리 (DP), 텐서 병렬 처리 (TP), 파이프라인 병렬 처리 (PP) 지원.
  • MoE 지원: Mixture-of-Experts 모델을 위한 전문가 병렬 처리 포함.
  • 최적화 기술: ZeRO-1 옵티마이저, FP32 그래디언트 누적, 메모리 효율성을 위한 사용자 지정 모듈 체크포인트 기능 제공.
  • 확장 도구: 신경망 확장을 돕는 spectral µTransfer 매개변수화 구현.
  • 성능 모니터링: CUDA 이벤트 기반 타이밍을 사용하여 정확한 GPU 성능 측정.

관련

  • 프로젝트
    NVlabs/LongLive

    LongLive은 NVIDIA의 매우 긴 비디오 생성 및 장문맥 로봇 행동 모델링을 위한 오픈소스 스위트입니다. Long‑WAM(스트리밍 시각 기억을 갖춘 월드 액션 모델), LongLive‑Plug(한 번으로 모두 LoRA 증류), LongLive 2.0(NVFP4 기반 고성능 학습/추론 인프라), LongLive 1.0(실시간 대화형 텍스트-투-비디오)의 네 가지 자체 포함 프로젝트가 포함되어 있습니다. 저장소는 각 구성 요소에 대한 코드, 학습 레시피, 추론 파이프라인 및 사전 학습된 체크포인트(HuggingFace에 호스팅)를 제공하며, 모두 Apache‑2.0에 따라 제공됩니다.

  • 프로젝트
    mll-lab-nu/RAGEN

    RAGEN은 StarPO 알고리즘을 기반으로 구축된 다중 턴 추론 LLM 에이전트를 훈련하기 위한 강화 학습 프레임워크입니다. 10개의 내장 환경을 포함하며 PPO 및 GRPO 최적화를 지원하고 Echo Trap 및 추론 붕괴와 같은 실패 모드에 대한 진단을 제공합니다. RAGEN-2는 템플릿 붕괴를 감지하기 위한 SNR 적응 필터링 및 상호 정보 기반 메트릭을 추가합니다.

  • 프로젝트
    huggingface/setfit

    매우 적은 레이블 데이터로 높은 정확도의 텍스트 분류를 가능하게 하는 효율적이고 프롬프트 없는 Sentence Transformers 소수 샘플 미세 조정 프레임워크입니다.

  • 프로젝트
    PythonOT/POT

    최적 운송(Optimal Transport) 문제를 해결하기 위한 포괄적인 Python 라이브러리로, 도메인 적응, 데이터 정렬, 생성 모델링과 같은 머신러닝 작업을 위해 여러 딥러닝 프레임워크에서 사용할 수 있는 미분 가능한 솔버를 제공합니다.