allenai/Olmo-core

해결하는 문제

Olmo-core는 대규모 언어 모델(LLM), 특히 OLMo 모델 제품군을 모델링하고 학습하기 위한 필수 빌딩 블록을 제공합니다. 이 라이브러리는 처음부터 학습하거나, 지속적인 학습(어닐링)을 수행하고, 이러한 모델에서 추론을 실행하는 과정을 간소화합니다.

작동 방식

이 라이브러리는 핵심 모델링 구성 요소와 공식 학습 스크립트 세트를 제공합니다. 사용자는 torchrun 또는 Beaker launch CLI를 사용하여 학습 또는 어닐링 스크립트를 실행할 수 있습니다. 추론의 경우, Hugging Face Transformers 및 vLLM과 통합되어 고처리량 생성을 지원하며, 라이브러리 내에서 직접 사용할 수 있는 베타 버전의 자기회귀 생성 기능도 제공합니다.

대상 사용자

OLMo 모델을 학습, 미세 조정 또는 배포하려는 AI 연구원 및 개발자와 표준화된 방식으로 LLM 학습 파이프라인을 구현하려는 분들을 위해 설계되었습니다.

주요 특징

• 공식 학습 스크립트: OLMo-2 및 OLMo-3 모델 제품군(7B 및 32B 파라미터)을 위한 즉시 사용 가능한 스크립트를 포함합니다.
• 광범위한 추론 지원: Hugging Face Transformers, vLLM 및 네이티브 Olmo-core 생성과 호환됩니다.
• 고급 학습 최적화: 메모리 효율성을 위한 FlashAttention, TransformerEngine, Liger-Kernel 및 float8 학습을 위한 torchao와 같은 선택적 종속성을 지원합니다.
• MoE 지원: grouped_gemm과 통합되어 드롭리스(dropless) 혼합 전문가 모델을 지원합니다.