axolotl-ai-cloud/axolotl
Go ahead and axolotl questions
해결하는 문제
Axolotl은 대규모 언어 모델(LLM)의 포스트 트레이닝 및 미세 조정의 복잡한 프로세스를 단순화합니다. 통합 프레임워크를 제공하여 서로 다른 모델이나 기술에 대해 커스텀 훈련 스크립트를 작성할 필요를 없애주며, 사용자가 단일 설정 파일만으로 데이터셋 전처리부터 추론까지 진행할 수 있도록 합니다.
작동 방식
사용자는 모델, 데이터셋, 미세 조정 방법과 같은 훈련 매개변수를 YAML 설정 파일에 정의합니다. Axolotl은 다양한 성능 커널과 분산 훈련 라이브러리를 통합하여 단일 또는 여러 GPU 및 노드에서 훈련을 실행할 수 있도록 기반 오케스트레이션을 처리합니다.
대상 사용자
훈련 루프 및 하드웨어 최적화와 같은 저수준의 보일러플레이트를 관리하지 않고 최첨단 LLM 및 시각-언어 모델(VLM)을 미세 조정하려는 AI 연구자 및 개발자를 위해 설계되었습니다.
주요 특징
- 폭넓은 모델 지원: LLaMA, Mistral, Mixtral, Qwen 및 Hugging Face Hub의 다양한 모델과 호환됩니다.
- 다양한 훈련 방법: Full fine-tuning, LoRA, QLoRA, Preference Tuning (DPO, ORPO), RL (GRPO) 및 Reward Modelling을 지원합니다.
- 멀티모달 기능: 시각-언어 모델(VLM) 및 오디오 모델의 미세 조정이 가능합니다.
- 고급 최적화: Flash Attention 2/3/4, Sequence Parallelism, 그리고 멀티 GPU/멀티 노드 확장을 위한 FSDP 및 DeepSpeed 지원을 포함합니다.
- 유연한 데이터 로딩: 로컬 스토리지, Hugging Face 및 다양한 클라우드 제공업체(S3, Azure, GCP, OCI)의 데이터셋을 지원합니다.