Habana Labs와 Hugging Face의 트랜스포머 모델 훈련 파트너십

Habana Labs와 Hugging Face는 Habana의 SynapseAI 소프트웨어 스위트를 Hugging Face Optimum 오픈소스 라이브러리와 통합하기 위해 파트너십을 맺었습니다. 이 협업을 통해 데이터 과학자와 머신러닝 엔지니어는 Habana Gaudi 프로세서에서 트랜스포머 모델 훈련을 최소한의 코드 변경으로 가속화하여 훈련 비용을 절감하고 생산성을 높일 수 있습니다.

Habana Gaudi를 통한 하드웨어 가속

Habana Gaudi 훈련 솔루션은 고효율의 특수 목적 딥러닝 처리를 제공하도록 설계되었습니다. 이러한 솔루션은 Amazon EC2 DL1 인스턴스와 Supermicro의 X12 Gaudi AI Training Server에 전원을 공급합니다.

  • Price/Performance: Gaudi는 가격 대비 성능을 최대 40% 낮추어 제공합니다.
  • Scalability: 모든 Gaudi 프로세서는 10개의 100 Gigabit Ethernet 포트를 통합하여 시스템이 단일 프로세서에서 수천 개의 Gaudi까지 효율적으로 확장될 수 있게 합니다.
  • Framework Support: SynapseAI 소프트웨어 스위트는 Gaudi 성능에 최적화되어 있으며 TensorFlow와 PyTorch 프레임워크를 모두 지원하고, 특히 컴퓨터 비전 및 자연어 처리(NLP) 애플리케이션을 목표로 합니다.

Hugging Face Optimum와의 통합

Hugging Face Hardware Partner Program을 통해 Habana SynapseAI 스위트가 Optimum 라이브러리에 통합되었습니다. 이 통합을 통해 사용자는 몇 줄의 코드만으로 Habana Gaudi의 하드웨어 가속을 트랜스포머 모델에 활용할 수 있습니다.

이 파트너십은 Habana Gaudi에 최적화된 트랜스포머 모델 라이브러리를 확장하여 다음과 같은 다양한 분야에서 고품질 훈련을 촉진하는 것을 목표로 합니다.

  • 자연어 처리 (NLP)
  • 컴퓨터 비전
  • 음성

경영진 관점

양 조직의 산업 리더들은 이 파트너십의 효율성과 접근성을 강조합니다:

"우리는 Hugging Face와 그들의 많은 오픈소스 개발자들과 파트너가 되어 효율성, 사용성 및 Gaudi 훈련 플랫폼의 확장성으로 혜택을 보는 트랜스포머 모델에 대한 증가하는 수요를 해결하게 되어 기쁩니다,"라고 Habana Labs의 소프트웨어 제품 관리 책임자 Sree Ganesan이 말했습니다.

"Habana Gaudi는 딥러닝 모델 훈련에 새로운 수준의 효율성을 제공하며, 우리는 Optimum을 통해 최소한의 코드 변경으로 이 성능을 트랜스포머 사용자에게 쉽게 제공하게 되어 매우 기쁩니다,"라고 Hugging Face의 제품 이사 Jeff Boudier가 말했습니다.

Sources