NVIDIA-BioNeMo/bionemo-recipes

해결하는 문제

BioNeMo Recipes는 생물학적 기초 모델 커뮤니티가 트랜스포머 기반 모델을 효율적으로 확장할 수 있도록 간편한 경로를 제공합니다. 높은 성능과 확장성, 사용 편의성의 균형을 맞춘 도구의 필요성을 해결하며, 단일 GPU 프로토타이핑에서 복수 노드 트레이닝으로 전환할 때 복잡한 병렬 처리 설정 없이도 가능하게 합니다.

작동 방식

일체형 트레이닝 프레임워크가 아니라, 본 프로젝트는 두 가지 주요 구성 요소를 제공합니다:

1. 모델 체크포인트: TransformerEngine (TE) 레이어를 통합한 Hugging Face 호환 PreTrainedModel 클래스로, 최적화된 성능(예: FP8 트레이닝 및 컨텍스트 병렬 처리)을 제공합니다.
2. 트레이닝 레시피: 자체 포함형 Docker 컨테이너로, 일반적인 프레임워크인 범용 PyTorch, HuggingFace Accelerate, PyTorch Lightning를 사용하여 최대 스루풋을 달성하는 방법을 참조 구현으로 제시합니다. Fully Sharded Data Parallel (FSDP) 및 시퀀스 패킹(THD)과 같은 기술을 활용합니다.

또한, 모델 해석을 위한 연구 도구도 포함되어 있으며, 스파스 오토인코더 트레이닝 및 특징 분석이 가능합니다.

대상 사용자

• 기초 모델 개발자: 새로운 생물학적 기초 모델을 개발하는 AI 연구자 및 ML 엔지니어. 효율적인 확장 전략이 필요한 분들.
• 기초 모델 커스터마이저: 독자적인 생물학적 데이터로 기존 모델을 파인튜닝하여 신약 개발 및 생물학적 연구에 활용하는 분야의 과학자.

주요 특징

• 유연한 확장성: 단일 GPU에서 멀티노드 클러스터까지 확장 가능.
• 프레임워크 호환성: PyTorch, PyTorch Lightning, HuggingFace Accelerate와 호환.
• 성능 최적화: TransformerEngine, megatron-FSDP, 고급 정밀도 형식(BF16, FP8, MXFP8, NVFP4)을 활용.
• 연구 친화적: 복잡한 추상화보다는 가독성과 "해킹 가능한" 코드를 우선시하여 빠른 실험을 가능하게 함.
• Hugging Face 통합: 모델은 Hugging Face Hub를 통해 배포되며, AutoModel.from_pretrained()의 즉시 대체 가능.