axolotl-ai-cloud/axolotl

해결하는 문제

Axolotl은 대규모 언어 모델(LLMs)의 학습 후 처리 및 미세 조정의 복잡한 과정을 간소화합니다. 새로운 모델이나 기술마다 사용자 지정 학습 스크립트를 작성할 필요가 없는 통합 프레임워크를 제공하며, 사용자가 데이터셋 전처리부터 추론까지 전체 파이프라인을 단일 YAML 파일로 구성할 수 있게 합니다.

작동 방식

Axolotl은 다양한 학습 라이브러리와 최적화 도구의 래퍼 및 오케스트레이터 역할을 합니다. 광범위한 모델 아키텍처(텍스트, 비전-언어, 오디오 모델 포함)를 지원하며, LoRA, QLoRA, RL (GRPO, GDPO)과 같은 고급 학습 방법을 통합합니다. 하드웨어 효율성을 극대화하기 위해 Flash Attention과 같은 성능 커널을 포함하며, FSDP2 및 DeepSpeed를 사용하여 여러 GPU 또는 노드에 걸친 분산 학습을 지원합니다.

대상 사용자

분산 학습 및 메모리 최적화를 위한 기본 상용구(boilerplate) 코드를 직접 관리하지 않고도 사용자 지정 데이터셋에서 최첨단 오픈 소스 모델을 미세 조정하려는 개발자와 AI 연구원을 위해 설계되었습니다.

주요 특징

• 광범위한 모델 지원: LLaMA, Mistral, 멀티모달 VLM을 포함하여 Hugging Face Hub의 방대한 모델과 호환됩니다.
• 설정 기반(Configuration-Driven): YAML 파일을 사용하여 데이터셋, 학습 하이퍼파라미터 및 양자화 설정을 관리합니다.
• 고급 학습 기술: 전체 미세 조정, 선호도 튜닝(DPO, ORPO) 및 보상 모델링(RM/PRM)을 지원합니다.
• 고성능 최적화: multipacking, 시퀀스 병렬화 및 다양한 4-bit 및 8-bit 양자화 방법(FP8, NVFP4)을 포함합니다.
• 클라우드 및 로컬 유연성: Docker 이미지 및 PyPI 패키지로 제공되어 다양한 클라우드 GPU 제공업체에 쉽게 배포할 수 있습니다.