erfanzar/EasyDeL

解决的问题

EasyDeL 是一个用于大规模机器学习模型训练、微调和推理服务的高性能框架。它弥合了 HuggingFace Transformers 等库的易用性与基于 JAX 的系统极高性能之间的鸿沟，允许开发人员在不牺牲可扩展性的情况下，在 TPU 和 GPU 集群上部署 LLM、多模态模型和视觉模型。

工作原理

EasyDeL 构建在 Flax NNX 和 JAX 之上，提供模块化架构，支持广泛的分布式训练策略（DP, FSDP, TP, EP, SP）以及通过 Triton (GPU) 和 Pallas (TPU) 优化的内核。它包含用于 16 种专业训练器（涵盖 SFT、RLHF 和蒸馏）的统一 API，以及名为 eSurge 的专用推理引擎，该引擎实现了连续批处理（continuous batching）和分页 KV 缓存，用于高吞吐量推理。

适用对象

专为需要在 TPU/GPU 集群上大规模训练或部署大型模型，但又希望拥有透明、可读且易于修改和定制的代码库的 ML 工程师和研究人员设计。

亮点

• 广泛的模型支持：包括 Llama、Qwen、Mistral、DeepSeek 和 Gemma 在内的 70 多种架构。
• 企业级推理：eSurge 引擎提供兼容 OpenAI 的 API、流式传输以及文本、图像和视频的多模态推理服务。
• 多样化的训练套件：针对 DPO、ORPO、GRPO 和知识蒸馏的专业训练器。
• 先进的注意力机制：实现了包括 Flash Attention 2 和 Ring Attention 在内的 10 多种机制。
• 多模态能力：支持视觉语言模型 (LLaVA, Qwen2-VL)、语音识别 (Whisper) 和扩散模型。
• 统一管理：eLargeModel 类简化了大型模型的配置、构建和编排。