erfanzar/EasyDeL

解決する課題

EasyDeLは、大規模機械学習モデルのトレーニング、ファインチューニング、およびサービングのための高性能フレームワークです。HuggingFace Transformersのようなライブラリに見られる使いやすさと、JAXベースのシステムの極限のパフォーマンスの間のギャップを埋め、開発者がカスタマイズ性を損なうことなく、TPUおよびGPUクラスター上でLLM、マルチモーダルモデル、およびビジョンモデルをデプロイできるようにします。

仕組み

Flax NNXとJAXの上に構築されたEasyDeLは、幅広い分散トレーニング戦略（DP, FSDP, TP, EP, SP）と、Triton (GPU) および Pallas (TPU) を介した最適化されたカーネルをサポートするモジュール式アーキテクチャを提供します。これには、16の特化型トレーナー（SFT、RLHF、蒸留をカバー）のための統一APIと、高スループットなサービングのために連続バッチングとpaged KVキャッシュを実装した eSurge と呼ばれる専用の推論エンジンが含まれています。

対象者

TPU/GPUクラスター上で大規模なモデルをトレーニングまたはデプロイする必要があり、かつ、修正やカスタマイズが容易な、透明性が高く読みやすいコードベースを求めるMLエンジニアおよび研究者向けに設計されています。

ハイライト

• 幅広いモデルサポート: Llama, Qwen, Mistral, DeepSeek, Gemmaなどの70以上のアーキテクチャを含む。
• エンタープライズ推論: eSurgeエンジンは、OpenAI互換のAPI、ストリーミング、およびテキスト、画像、ビデオのマルチモーダルサービングを提供します。
• 多様なトレーニングスイート: DPO, ORPO, GRPO、および知識蒸留のための特化型トレーナー。
• 高度なアテンション: Flash Attention 2やRing Attentionを含む10以上のメカニズムを実装。
• マルチモーダル機能: ビジョン言語モデル (LLaVA, Qwen2-VL)、音声認識 (Whisper)、および拡散モデルをサポート。
• 統合管理: eLargeModel クラスが、大規模モデルの構成、構築、およびオーケストレーションを簡素化します。