Graphcore와 Hugging Face, IPU 준비된 트랜스포머 모델 확장

Graphcore와 Hugging Face는 Hugging Face Optimum에서 사용할 수 있는 머신러닝 모달리티와 작업 범위를 확장하여, 개발자들에게 Graphcore의 Intelligence Processing Unit (IPU)에 최적화된 10개의 즉시 사용 가능한 트랜스포머 모델을 제공했습니다. 이번 확장은 혁신가들이 자연어 처리, 음성, 컴퓨터 비전 작업 전반에 걸쳐 고성능 트랜스포머 모델을 배포하는 장벽을 낮춥니다.

모달리티별 최적화 모델 라인업

Graphcore와 Hugging Face는 이제 다음 모델에 대한 IPU 구성 파일과 바로 사용할 수 있는 사전 학습 및 파인튜닝 가중치를 제공합니다:

자연어 처리 (NLP)

  • GPT-2: 텍스트 생성을 위한 생성형 사전 학습 트랜스포머로, 대규모 영어 코퍼스에 대해 자체 지도 학습 방식으로 훈련되었습니다.
  • RoBERTa: 마스크드 언어 모델링(MLM) 목표를 사용한 견고하게 최적화된 BERT 접근법으로, 주로 다운스트림 작업에 대한 파인튜닝을 위해 설계되었습니다.
  • DeBERTa: BERT와 RoBERTa를 개선한 버전으로, 분리된 어텐션 메커니즘과 향상된 마스크 디코더를 활용해 사전 학습 효율과 다운스트림 성능을 높입니다.
  • BART: 양방향 인코더와 자동 회귀 디코더를 갖춘 시퀀스‑투‑시퀀스(seq2seq) 모델로, 요약 및 번역과 같은 텍스트 생성 작업에 효과적입니다.
  • T5: 모든 NLP 문제를 통합된 텍스트‑투‑텍스트 형식으로 변환하여 전이 학습을 수행하는 텍스트‑투‑텍스트 트랜스포머입니다.
  • LXMERT: 객체 관계, 언어, 교차 모달리티의 세 인코더를 사용해 시각 및 언어 표현을 학습하는 멀티모달 트랜스포머로, VQA와 GQA 데이터셋에서 최첨단 결과를 달성합니다.

컴퓨터 비전

  • ViT (Vision Transformer): 이미지를 작은 패치로 나누어 트랜스포머 임베딩으로 인코딩하는 이미지 인식 모델입니다.

음성

  • HuBERT (Hidden-Unit BERT): 연속 입력에 대해 음향 및 언어 모델을 결합해 학습하는 자체 지도 음성 인식 모델입니다.
  • Wav2Vec2: 대비 사전 학습 목표를 통해 라벨이 없는 데이터에서 음성 표현을 학습하는 자동 음성 인식을 위한 자체 지도 모델입니다.

하드웨어 및 소프트웨어 통합

성능 향상은 Hugging Face Optimum을 Graphcore 최신 하드웨어 및 소프트웨어 스택과 통합함으로써 이루어집니다.

Bow IPU 하드웨어

Bow IPU는 Wafer-on-Wafer (WoW) 3D 스태킹 기술을 사용합니다. 이전 세대에 비해 Bow IPU는 다음을 제공합니다:

  • 최대 350 테라플롭스 AI 연산(성능 40% 향상).
  • 전력 효율성 최대 16% 개선.

Hugging Face Optimum 사용자는 코드를 전혀 변경하지 않고 Bow 프로세서로 전환할 수 있습니다.

Poplar SDK

Optimum은 Poplar SDK(버전 2.5)와 함께 플러그‑앤‑플레이 경험을 제공하며, PyTorch, PyTorch Lightning, TensorFlow 등 표준 머신러닝 프레임워크와 통합됩니다. 이 호환성 덕분에 개발자는 Docker와 Kubernetes와 같은 오케스트레이션 도구를 사용해 다른 컴퓨팅 플랫폼의 모델을 IPU로 포팅할 수 있습니다.

생태계 및 접근성

IPU를 Hugging Face와 통합함으로써 개발자는 최적화된 모델과 Hugging Face Hub에 있는 방대한 데이터셋을 모두 활용할 수 있습니다. 이 파트너십은 사이버 보안, 신약 개발, 음성 통화 자동화 등 실세계 응용 분야에서 트랜스포머 성능을 최적화하는 데 필요한 시간과 전문 기술을 줄이는 것을 목표로 합니다.

Sources