Hugging Face DGX 클라우드에서 학습

Hugging Face와 NVIDIA가 Train on DGX Cloud를 출시했습니다. 이 서비스는 Hugging Face Hub에 통합되어 엔터프라이즈 Hub 조직이 NVIDIA의 가속 컴퓨팅 인프라를 사용해 오픈 생성 AI 모델을 미세 조정할 수 있게 합니다. 이 서비스는 GPU 부족 문제와 학습 스크립트 작성의 복잡성을 해결하기 위해 고성능 GPU에 접근할 수 있는 노코드 인터페이스를 제공합니다.

코드 없이 모델 미세 조정

Train on DGX Cloud는 사용자가 몇 번의 클릭만으로 인기 있는 오픈 모델을 미세 조정할 수 있게 합니다. 이 서비스는 Hugging Face AutoTrain 및 Hugging Face Spaces에 의해 구동되며, 수동 스크립트 작성, 테스트 및 디버깅이 필요하지 않습니다.

지원되는 모델 아키텍처는 다음과 같습니다:

  • Llama
  • Falcon
  • Mistral
  • Mixtral
  • T5
  • Gemma
  • Stable Diffusion
  • Stable Diffusion XL

기술 워크플로우 및 하드웨어 옵션

Hugging Face Enterprise 구독자를 가진 사용자는 지원되는 아키텍처의 모델 페이지에서 직접 학습 작업을 시작할 수 있습니다. 이 과정은 엔터프라이즈 조직을 선택하고 작업을 구성하기 위해 AutoTrain Space를 생성하는 것을 포함합니다.

하드웨어 구성

학습 작업은 다음 GPU 인스턴스에서 실행될 수 있습니다:

  • NVIDIA H100 Tensor Core GPUs: 1x, 2x, 4x, 8x 인스턴스로 제공됩니다.
  • NVIDIA L40S GPUs: 학습 작업에도 지원됩니다.

학습 프로세스

  1. Configuration: 사용자는 하드웨어, 기본 모델, 작업 및 학습 파라미터를 선택합니다(JSON 구성으로 편집 가능).
  2. Data Upload: 학습 데이터셋은 CSV 또는 JSON 파일로 업로드해야 합니다.
  3. Execution: AutoTrain이 데이터셋을 검증하고 학습 작업을 시작합니다.
  4. Output: 완료되면 미세 조정된 모델이 사용자가 선택한 네임스페이스 내 Hugging Face Hub의 개인 저장소에 업로드됩니다.

가격 모델

Train on DGX Cloud는 사용량 기반 과금 모델로, GPU 인스턴스 사용 시간을 분 단위로 청구합니다.

  • NVIDIA H100 instances: GPU 시간당 $8.25.
  • NVIDIA L40S instances: GPU 시간당 $2.75.

예를 들어, 단일 NVIDIA L40S GPU를 사용해 1,500개의 샘플로 Mistral 7B를 미세 조정하는 데 약 10분이 소요되며 비용은 대략 $0.45입니다.

NVIDIA와 Hugging Face의 광범위한 협업

Train on DGX Cloud는 가속 머신러닝을 민주화하기 위한 Hugging Face와 NVIDIA 간의 더 큰 전략적 파트너십의 일환입니다. 다른 협업 사례는 다음과 같습니다:

  • Open Science: BigCode를 통해 600개 이상의 언어로 학습된 코드 LLM인 StarCoder 2 15B의 훈련.
  • Open Source: optimum-nvidia 라이브러리 개발, 이 라이브러리는 NVIDIA GPU에서 LLM 추론을 가속화하며 Llama 2로 초당 최대 1,200 토큰을 달성합니다.
  • Inference Optimization: NVIDIA TensorRT-LLM을 활용한 지속적인 작업 및 인기 오픈 모델을 NVIDIA NIM 마이크로서비스에 통합.

Note: 이 서비스는 2025년 4월 10일부로 사용 중단되었으며 이용할 수 없게 되었습니다.

Sources