erfanzar/EasyDeL

해결하는 문제

EasyDeL은 대규모 머신러닝 모델의 학습, 미세 조정 및 서빙을 위한 고성능 프레임워크입니다. HuggingFace Transformers와 같은 라이브러리에서 볼 수 있는 사용 편의성과 JAX 기반 시스템의 극한의 성능 사이의 간극을 메워, 개발자가 유연성을 유지하면서 TPU 및 GPU 클러스터에서 LLM, 멀티모달 모델 및 비전 모델을 배포할 수 있도록 합니다.

작동 방식

Flax NNX 및 JAX를 기반으로 구축된 EasyDeL은 다양한 분산 학습 전략(DP, FSDP, TP, EP, SP)과 Triton(GPU) 및 Pallas(TPU)를 통한 최적화된 커널을 지원하는 모듈형 아키텍처를 제공합니다. 여기에는 16개의 전문 트레이너(SFT, RLHF 및 증류 포함)를 위한 통합 API와 고처리량 서빙을 위해 연속 배칭(continuous batching) 및 paged KV 캐싱을 구현한 eSurge라는 전용 추론 엔진이 포함됩니다.

대상 사용자

TPU/GPU 클러스터에서 대규모 모델을 학습하거나 배포해야 하지만, 수정 및 커스터마이징이 쉬운 투명하고 읽기 쉬운 코드베이스를 원하는 ML 엔지니어 및 연구자를 위해 설계되었습니다.

주요 특징

• 폭넓은 모델 지원: Llama, Qwen, Mistral, DeepSeek, Gemma 등 70개 이상의 아키텍처 포함.
• 엔터프라이즈 추론: eSurge 엔진은 OpenAI 호환 API, 스트리밍 및 텍스트, 이미지, 비디오를 위한 멀티모달 서빙을 제공합니다.
• 다양한 학습 스위트: DPO, ORPO, GRPO 및 지식 증류를 위한 전문 트레이너.
• 고급 어텐션: Flash Attention 2 및 Ring Attention을 포함한 10개 이상의 메커니즘 구현.
• 멀티모달 기능: 비전-언어 모델(LLaVA, Qwen2-VL), 음성 인식(Whisper) 및 확산 모델 지원.
• 통합 관리: eLargeModel 클래스가 대규모 모델의 구성, 빌드 및 오케스트레이션을 단순화합니다.