Hugging Face와 Graphcore의 IPU-최적화된 Transformer 파트너십

Hugging Face와 Graphcore는 Graphcore의 Intelligence Processing Units(IPU)를 Hugging Face 생태계에 통합하기 위해 파트너십을 체결했습니다. 2021 AI Hardware Summit에서 발표된 이 협력은 개발자가 최소한의 코딩 복잡도로 생산 규모에서 IPU에 최적화된 최신 Transformer 모델을 배포할 수 있도록 합니다.

Intelligence Processing Unit (IPU) 아키텍처

Intelligence Processing Unit(IPU)은 AI와 머신러닝의 계산 요구 사항을 위해 특별히 설계된 프로세서로, Graphcore의 IPU-POD 데이터센터 컴퓨팅 시스템을 구동합니다. GPU가 SIMD/SIMT 아키텍처를 사용하는 반면, IPU는 massively parallel MIMD 아키텍처를 사용합니다.

IPU의 주요 기술적 특성은 다음과 같습니다:

• On-die Memory: 초고대역폭 메모리가 프로세서 코어 바로 옆에 실리콘 다이 위에 배치됩니다.
• Specialized Silicon: 하드웨어는 희소성, 저정밀 연산, 미세한 병렬성을 처리하도록 구축되었습니다.
• Software Integration: 프로세서와 공동 설계된 Poplar SDK는 PyTorch와 TensorFlow 같은 표준 프레임워크뿐 아니라 Docker와 Kubernetes 같은 배포 도구와 통합됩니다.

하드웨어 파트너 프로그램을 통한 Transformer 최적화

고급 하드웨어와 모델 배포 사이의 격차를 메우기 위해 Hugging Face는 하드웨어 파트너 프로그램을 출시했습니다. 이 이니셔티브는 Transformers 라이브러리와 최적화된 AI 하드웨어를 연결하여 새로운 컴퓨팅 플랫폼 채택의 마찰을 줄입니다.

Optimum 라이브러리

개발자는 Optimum이라는 새로운 오픈소스 라이브러리와 툴킷을 통해 하드웨어 최적화된 모델에 접근할 수 있습니다. 이 툴킷은 Hugging Face가 인증하고 Graphcore와 협력하여 개발된 모델을 제공합니다. 이러한 IPU-최적화된 모델은 "plug-and-play"로 설계되어 개발자가 하드웨어를 활용하기 위해 새로운 코드나 프로세스를 배울 필요가 없습니다.

적용 범위

이 파트너십은 다음과 같은 다양한 애플리케이션을 포괄하는 것을 목표로 합니다:

• 텍스트 생성, 감정 분석, 번역과 같은 자연어 처리(NLP).
• 컴퓨터 비전(예: ViT).
• 음성 처리.

성능 및 벤치마크

Graphcore는 Hugging Face BERT의 Graphcore-최적화된 PyTorch 구현을 사용하여 IPU가 Transformer 모델을 가속화할 수 있음을 보여주었습니다. Graphcore에 따르면, IPU 시스템에서 실행된 BERT의 벤치마크 결과는 comparable한 GPU 기반 시스템에 비해 극적인 성능 우위를 보여주며, 이는 모델 개발 중에 훈련 시간을 크게 줄이고 가능한 반복 횟수를 늘릴 수 있습니다.