Dell Enterprise Hub: 온프레미스 AI 배포 및 교육

Hugging Face와 Dell이 Dell 하드웨어에서 오픈소스 대형 언어 모델(LLM)의 온프레미스 교육 및 배포를 간소화하는 플랫폼인 Dell Enterprise Hub를 출시했습니다. 이 통합을 통해 온프레미스 AI 설정에 필요한 엔지니어링 작업이 수 주에 걸친 수동 구성에서 몇 분으로 단축됩니다.

간소화된 온프레미스 LLM 배포

Dell Enterprise Hub를 사용하면 기업은 보안된 IT 환경 내에서 직접 오픈 모델을 배포하여 보안, 규정 준수 및 프라이버시 요구 사항을 충족할 수 있습니다. 모델을 온프레미스에 호스팅함으로써 기업은 AI 기능에 대한 완전한 소유권과 제어권을 유지하고 고객 데이터가 보호되도록 보장합니다.

배포 프로세스의 주요 기능은 다음과 같습니다:

  • Curated Model Catalog: 허브는 Meta의 Llama 3, Mistral AI의 Mixtral, Google의 Gemma 등 고급 오픈 모델 목록을 제공합니다.
  • Hardware Optimization: 배포 구성은 Dell 플랫폼에 최적화되어 있으며, 사용 가능한 하드웨어, 메모리 및 연결성을 고려합니다. 이러한 구성은 Dell 인프라에서 정기적으로 테스트되어 즉시 사용 가능한 성능을 보장합니다.
  • Streamlined Workflow: 사용자는 모델을 선택하고, 지원되는 Dell 플랫폼과 GPU 수를 지정한 뒤, 터미널에서 제공된 스크립트를 실행해 API 엔드포인트를 생성합니다.
  • Unified Access: 허브가 Hugging Face 계정 기반으로 구축되어 있기 때문에 기존 모델 가중치 권한(예: Meta 또는 Google에서 제공)도 자동으로 이전됩니다.

온프레미스 모델 파인튜닝

Dell Enterprise Hub는 기업이 오픈 모델을 온프레미스에서 파인튜닝할 수 있게 하여, 교육에 사용되는 기밀 지적 재산 및 고객 데이터가 회사의 보안된 환경을 떠나지 않도록 보장합니다. 파인튜닝된 오픈 모델은 특정 도메인에 특화된 사용 사례에서 GPT‑4와 같은 폐쇄형 모델보다 뛰어난 성능을 발휘할 수 있습니다.

모델을 파인튜닝하려면 사용자는 최적화된 교육 컨테이너를 제공하고, 교육 데이터셋(CSV 또는 JSONL 형식)이 저장된 로컬 경로와 파인튜닝된 모델 가중치가 저장될 대상 경로를 지정합니다.

맞춤형 모델 통합 및 API 호환성

이 플랫폼은 "Bring Your Own Model" 방식을 지원하여, 사용자가 독립적으로 학습하거나 허브를 통해 파인튜닝한 모델을 배포할 수 있게 합니다. 모델이 지원되는 아키텍처를 사용한다면, 모델 가중치가 있는 로컬 경로만 지정하면 API 엔드포인트로 배포됩니다.

프로토타입에서 프로덕션으로 전환을 원활하게 하기 위해, 배포된 모델은 OpenAI와 호환되는 Messages API를 사용합니다. 이를 통해 개발자는 OpenAI 기반으로 구축한 프로토타입을 Dell 하드웨어상의 안전한 온프레미스 배포로 손쉽게 마이그레이션할 수 있습니다.

하드웨어 및 생태계 지원

Dell Enterprise Hub는 Hugging Face와 주요 하드웨어 가속기 업체 간의 협업을 활용합니다. 다양한 Dell 플랫폼 구성을 위한 최적화된 컨테이너를 제공하며, 다음과 같은 엔지니어링 작업을 기반으로 합니다:

  • NVIDIA (via optimum-nvidia)
  • AMD (via optimum-amd)
  • Intel (via optimum-intel 및 optimum-habana)

이 생태계는 다양한 AI 하드웨어 가속기를 사용하는 광범위한 Dell 플랫폼 전반에 걸쳐 오픈 모델을 효율적으로 배포하고 교육할 수 있도록 보장합니다.

Sources