Intel Gaudi 2에서 단백질 언어 모델 ProtST 가속

ProtST 모델 개요

ProtST는 텍스트 프롬프트를 기반으로 한 단백질 설계를 위한 다중 모달 언어 모델로, MILA와 Intel Labs가 ICML 2023에서 처음 공개했습니다. 이 모델은 아미노산 서열의 세포소기관 위치를 예측하는 작업 등에 사용되며—모델은 서열이 핵, 세포막, 세포질, 혹은 미토콘드리아에 속하는지를 식별합니다.

  • Zero-shot Performance: ProtST-ESM-1b 변형은 세포소기관 위치 예측에서 최첨단 few-shot 분류기보다 바로 뛰어난 성능을 보입니다.
  • Accessibility: 모델과 관련 데이터셋은 재구성되어 mila-intel 조직을 통해 Hugging Face Hub에 공유되었습니다.

Intel Gaudi 2에서 추론 성능

ProtST-SubcellularLocalization 데이터셋(길이가 79에서 1,999 사이인 2,772개의 아미노산 서열 포함)에서 수행된 추론 테스트 결과, Intel Gaudi 2가 NVIDIA A100 80GB PCIe에 비해 상당한 성능 향상을 제공함을 보여줍니다.

모델을 배치 크기 1로 전체 bfloat16 정밀도로 실행했을 때, 결과는 다음과 같습니다:

  • Accuracy: NVIDIA A100과 Intel Gaudi 2 모두 동일한 0.44의 정확도를 달성했습니다.
  • Speed: Intel Gaudi 2는 A100보다 1.76배 빠른 추론 속도를 제공했습니다.

파인튜닝 및 스케일링 기능

하위 작업에 대해 ProtST를 파인튜닝하면 모델링 정확도를 향상시킬 수 있습니다. 이진 위치 작업(단백질이 막에 결합되어 있는지 혹은 용해성인지 판단)에서 ProtST-ESM1b-for-sequential-classification 모델은 ProtST-BinaryLocalization 데이터셋을 사용해 bfloat16 정밀도로 파인튜닝되었습니다.

학습 정확도 및 속도

파인튜닝 결과는 원 논문의 결과와 거의 일치하며, 다양한 하드웨어 환경에서 약 92.5%의 정확도를 달성했습니다.

하드웨어 비교

단일 Gaudi 2 가속기와 단일 NVIDIA A100을 비교하면:

  • Fine-tuning Speed: 단일 Gaudi 2는 단일 A100보다 2.92배 빠릅니다.
  • Scalability: Gaudi 2에서 분산 학습은 가속기 수를 4개 또는 8개로 늘릴 때 거의 선형적으로 확장됩니다.

구현 리소스

개발자는 다음 도구를 사용해 Intel Gaudi 2에서 ProtST를 배포할 수 있습니다:

  • Optimum for Intel Gaudi: transformers 기반 스크립트를 Gaudi 2 하드웨어에 포팅하는 과정을 단순화하는 오픈소스 라이브러리입니다.
  • Intel Gaudi Documentation: 하드웨어 구현을 위한 공식 기술 가이드입니다.

Sources