PaddlePaddle/PaddleFormers

해결하는 문제

PaddleFormers는 PaddlePaddle 생태계 내에서 대규모 언어 모델(LLM) 및 시각 언어 모델(VLM)을 위한 고성능 학습 라이브러리를 제공합니다. Hugging Face Transformers와 동등한 모델 인터페이스와 기능적 경험을 제공하는 것을 목표로 하는 동시에, 고성능 분산 학습 최적화, 리소스 소비 감소 및 복잡한 내부 최적화 세부 사항의 단순화를 지향합니다.

작동 원리

PaddlePaddle 딥러닝 프레임워크를 기반으로 구축된 이 라이브러리는 텐서 병렬성, 파이프라인 병렬성, 전문가 병렬성을 포함한 광범위한 분산 학습 전략을 구현합니다. 자동 혼합 정밀도(AMP), FP8 저정밀도 학습 및 통신-계산 중첩과 같은 고급 가속 기술을 활용합니다. DeepSeek-V4와 같은 특정 아키텍처의 경우, FlashMLA 및 고성능 FP8 MoE 모듈과 같은 특화된 연산자를 통합하여 효율성을 극대화합니다.

대상 사용자

PaddlePaddle 프레임워크를 사용하여 대규모 모델(LLM 및 VLM)을 학습하거나 미세 조정해야 하는 AI 연구자 및 개발자. 특히 중국 국산 하드웨어(Kunlunxin, Iluvatar, Metax, Moore Threads 등)를 사용하거나 특정 시나리오에서 Megatron-LM를 초과하는 성능을 원하는 사용자에게 적합합니다.

주요 특징

• 광범위한 모델 지원: DeepSeek-V3/V4, GLM-4.5, Qwen 시리즈, ERNIE 시리즈를 포함한 100개 이상의 주류 모델 지원.
• 전 생애주기 학습: 사전 학습 및 지속적 사전 학습(CPT)부터 SFT, SFT-LoRA, DPO, DPO-LoRA와 같은 사후 학습 기술까지 전체 파이프라인 지원.
• Hugging Face 호환성: API 설계가 Hugging Face Transformers와 매우 일관되며, vLLM 또는 SGLang과 같은 도구로의 원활한 가중치 전송을 위해 Safetensors 형식을 지원.
• 고성능 최적화: 데이터 흐름과 학습 속도를 최적화하기 위해 Data Packing 및 Padding Free 기술 구현.
• 폭넓은 하드웨어 적응: 표준 NVIDIA GPU 외의 다양한 중국 국산 AI 칩에 깊이 최적화됨.