modelscope/ms-swift

해결하는 문제

ms-swift는 대규모 언어 모델(LLM) 및 멀티모달 모델의 전체 수명 주기를 위한 포괄적이고 확장 가능한 인프라를 제공합니다. 사전 학습, 미세 조정, 인간 정렬, 평가, 양자화 및 배포의 복잡한 과정을 간소화하여 사용자가 단일 프레임워크를 통해 원시 데이터에서 배포된 모델까지 한 번에 진행할 수 있도록 합니다.

작동 방식

이 프레임워크는 다양한 학습 기술과 가속 엔진을 통합하여 서로 다른 하드웨어에서 성능을 최적화합니다. 방대한 모델(600개 이상의 텍스트 전용 모델 및 400개 이상의 멀티모달 모델)을 지원하며 여러 학습 경로를 제공합니다:

• 경량 미세 조정: LoRA, QLoRA, DoRA와 같은 방법을 구현하여 리소스 요구 사항을 줄입니다.
• 분산 학습: DeepSpeed, FSDP 및 Megatron 병렬화(TP, PP, CP, EP)를 활용하여 거대한 모델과 MoE 아키텍처를 처리합니다.
• 강화 학습: 인간 정렬을 위한 광범위한 GRPO 알고리즘 제품군(GRPO, DAPO, GSPO 등)을 포함합니다.
• 최적화: GaLore, UnSloth, Flash-Attention 2/3와 같은 메모리 절약 기술을 사용합니다.
• 배포: vLLM, SGLang, LMDeploy와 통합하여 고성능 추론을 지원합니다.

대상 사용자

최첨단 대규모 모델을 효율적으로 미세 조정하고 배포해야 하는 AI 연구원 및 개발자를 위해 설계되었습니다. 특히 멀티모달 데이터를 다루거나 다양한 하드웨어(NVIDIA, AMD, Ascend 등)에서 대규모 분산 학습이 필요한 사용자에게 적합합니다.

주요 특징

• 방대한 모델 지원: 1,000개 이상의 텍스트 및 멀티모달 모델을 Day-0부터 지원합니다.
• 하드웨어 독립성: NVIDIA GPU, AMD GPU, Apple MPS, CPU 및 국내 NPU/GPU 전반에서 작동합니다.
• 전체 파이프라인: 데이터셋 준비부터 학습, 양자화, OpenAI 호환 배포까지 모든 과정을 다룹니다.
• 고급 강화 학습: GRPO 알고리즘 제품군과 DPO, ORPO와 같은 선호도 학습 방법을 내장 지원합니다.
• 사용자 친화적: 명령줄 인터페이스와 비전문가를 위한 제로 임계값 Web-UI를 모두 제공합니다.