EleutherAI/gpt-neox

해결하는 문제

GPT-NeoX는 수십억 개의 파라미터를 가진 대규모 자기회귀 언어 모델을 처음부터 학습시키기 위해 설계되었습니다. 이 라이브러리는 대규모 모델 개발 연구를 가속화하는 학습 기법들을 수집하고 구현하기 위한 중앙 집중식 프레임워크를 제공합니다.

작동 방식

NVIDIA의 Megatron Language Model을 기반으로 구축되고 DeepSpeed 기법으로 보강된 이 라이브러리는 ZeRO 및 3D 병렬 처리를 사용하여 분산 학습을 구현합니다. 다양한 하드웨어(NVIDIA 및 AMD GPU)와 Slurm, MPI, IBM Job Step Manager와 같은 오케스트레이션 도구를 지원합니다. 이 프레임워크는 성능 최적화를 위해 rotary 및 alibi 위치 임베딩, 병렬 피드포워드 어텐션 레이어, flash attention과 같은 아키텍처 혁신을 통합합니다.

대상 사용자

처음부터 거대한 언어 모델을 학습시켜야 하는 학계, 산업계 및 정부 기관의 연구원과 조직을 위한 것입니다. 일반적인 추론 요구 사항을 위한 것은 아니며, 그러한 경우에는 Hugging Face transformers 라이브러리 사용을 권장합니다.

주요 특징

• 광범위한 하드웨어 지원: 다양한 클라우드 및 슈퍼컴퓨팅 환경(예: AWS, CoreWeave, LUMI)에서 NVIDIA 및 AMD GPU와 호환됩니다.
• 아키텍처 유연성: LLaMA 1 & 2, PaLM, Falcon, Pythia와 같은 인기 있는 아키텍처에 대한 사전 정의된 구성을 포함합니다.
• 고급 최적화: Ampere 및 Hopper GPU에서 상당한 속도 향상을 위해 Flash Attention 및 NVIDIA의 Transformer Engine을 지원합니다.
• 생태계 통합: Hugging Face 토크나이저 및 트랜스포머와 연결되며, WandB, Comet, TensorBoard와 같은 모니터링 도구와 통합됩니다.