Hugging Face와 AMD의 모델 가속 파트너십

Hugging Face와 AMD는 전략적 파트너십을 체결하여 AMD의 CPU 및 GPU 플랫폼 전반에서 최신 트랜스포머 모델의 성능을 가속화했습니다. 이 협력은 개발자에게 더 많은 하드웨어 옵션과 대규모 모델의 사전 학습, 미세 조정, 추론에 대한 향상된 비용-성능 표준을 제공하는 것을 목표로 합니다.

지원되는 하드웨어 플랫폼

AMD와 Hugging Face는 세 가지 주요 하드웨어 카테고리 전반에서 성능을 최적화하고 있습니다:

  • GPUs: 협력은 먼저 엔터프라이즈 등급 Instinct MI2xx 및 MI3xx 제품군에 초점을 맞추고, 그 다음 고객 등급 Radeon Navi3x 제품군으로 이어집니다. 초기 테스트 결과 MI250은 직접 경쟁 제품보다 BERT-Large를 1.2배 빠르게, GPT2-Large를 1.4배 빠르게 학습시킵니다.
  • CPUs: 추론 최적화는 클라이언트 Ryzen 및 서버 EPYC CPU 둘 다를 대상으로 하며, 양자화와 같은 모델 압축 기술을 활용하여 CPU를 트랜스포머 추론에 viable한 옵션으로 만듭니다.
  • AI Accelerators: 파트너십에는 높은 성능을 낮은 전력 요구로 제공하도록 설계된 Alveo V70 AI 가속기가 포함됩니다.

지원되는 모델 아키텍처 및 프레임워크

이 파트너십은 자연어 처리, 컴퓨터 비전, 음성 분야 전반에 걸친 다양한 트랜스포머 아키텍처를 지원하려고 합니다, 포함:

  • Generative AI: GPT2, GPT-NeoX, T5, OPT, LLaMA, BLOOM, 그리고 StarCoder.
  • General Transformers: BERT, DistilBERT, ROBERTA, Vision Transformer, CLIP, 그리고 Wav2Vec2.
  • Other Architectures: ResNet 및 ResNext와 같은 전통적인 컴퓨터 비전 모델 및 딥러닝 추천 모델도 포함됩니다.

이 모델들은 PyTorch, TensorFlow, ONNX Runtime에서 사용하기 위해 테스트 및 검증될 것이지만, 훈련 및 가용성은 프레임워크 및 하드웨어 플랫폼에 따라 다를 수 있습니다.

구현 및 통합 로드맵

원활한 사용자 경험을 보장하기 위해 Hugging Face와 AMD는 다음과 같은 기술 통합에 중점을 두고 있습니다:

  • ROCm SDK Integration: AMD ROCm SDK는 Hugging Face의 오픈소스 라이브러리에 통합될 것이며, 먼저 transformers 라이브러리부터 시작됩니다.
  • Dedicated Optimum Library: 이 협력은 AMD 플랫폼에 특화된 새로운 Optimum 라이브러리를 결과로 낼 것으로 예상되며, 이를 통해 사용자는 최소한의 코드 변경으로 AMD 하드웨어를 활용할 수 있습니다.
  • Out-of-the-Box Optimization: 초기 우선순위는 최신 AMD 하드웨어 및 소프트웨어 기능을 활용하여 AMD 플랫폼에서 가장 커뮤니티에 중요한 모델들이 효율적으로 작동하도록 보장하는 것입니다.

Sources