NVIDIA-BioNeMo/bionemo-recipes

해결하는 문제

BioNeMo Recipes는 생물학적 AI 커뮤니티가 Transformer 기반 기초 모델의 학습을 효율적으로 확장할 수 있도록 도와줍니다. 고성능 병렬 처리 및 최적화 설정 구성의 복잡성을 제거하고, 사전 최적화된 모델 체크포인트와 참조 학습 구현을 제공합니다.

작동 방식

이 프로젝트는 세 가지 주요 구성 요소를 제공합니다:

• 모델: NVIDIA TransformerEngine 레이어를 통합한 Hugging Face 호환 모델 클래스(예: ESM-2, Geneformer, AMPLIFY)로 하드웨어 가속을 지원합니다.
• 레시피: 자체 포함형 Docker 컨테이너에 포함된 학습 예제입니다. PyTorch, HuggingFace Accelerate, PyTorch Lightning 같은 프레임워크와 함께 Fully Sharded Data Parallel (FSDP), FP8 정밀도, 시퀀스 패킹(THD)과 같은 고급 확장 기술을 사용하는 방법을 보여줍니다.
• 해석 도구: 스파스 오토인코더 학습과 특징 분석을 포함한 모델 동작을 분석하는 워크플로우입니다.

대상 사용자

• 기초 모델 개발자: 새로운 생물학적 기초 모델을 개발하는 AI 연구자 및 ML 엔지니어로, 프로토타입을 멀티노드 클러스터로 확장해야 하는 사람입니다.
• 기초 모델 커스터마이저: 약물 개발 및 연구를 위해 기존 모델을 고유의 생물학적 데이터에 맞게 미세 조정하는 분야 과학자입니다.

주요 특징

• 고성능 정밀도: BF16, FP8, MXFP8, NVFP4를 지원하여 학습 처리량을 증가시킵니다.
• 유연한 확장성: megatron-FSDP와 컨텍스트 병렬화를 사용해 단일 GPU에서 멀티노드 학습까지 확장 가능합니다.
• 프레임워크 호환성: 일반 PyTorch, PyTorch Lightning, HuggingFace Accelerate와 호환됩니다.
• 최적화된 데이터 처리: 시퀀스 패킹(THD)을 구현하여 패딩 토큰으로 인한 계산 낭비를 제거합니다.