modelscope/ms-swift

它解决了什么问题

ms-swift 为大型语言模型 (LLMs) 和多模态模型的整个生命周期提供了全面且可扩展的基础设施。它简化了预训练、微调、人类对齐、评估、量化和部署的复杂过程，让用户能够使用单一框架从原始数据转换到已部署的模型。

它是如何工作的

该框架整合了各种训练技术和加速引擎，以优化不同硬件上的性能。它支持大量的模型（600 多个纯文本模型和 400 多个多模态模型），并提供多种训练路径：

• 轻量级微调：实现了 LoRA、QLoRA 和 DoRA 等方法，以降低资源需求。
• 分布式训练：利用 DeepSpeed、FSDP 和 Megatron 并行化技术 (TP, PP, CP, EP) 来处理大型模型和 MoE 架构。
• 强化学习：包含广泛的 GRPO 算法系列 (GRPO, DAPO, GSPO 等) 用于人类对齐。
• 优化：采用 GaLore、UnSloth 和 Flash-Attention 2/3 等节省内存的技术。
• 部署：与 vLLM、SGLang 和 LMDeploy 集成，实现高性能推理。

适用对象

它专为需要高效微调和部署最先进大型模型的 AI 研究人员和开发人员而设计，特别是那些处理多模态数据或需要在多种硬件（NVIDIA, AMD, Ascend 等）上进行大规模分布式训练的用户。

特色亮点

• 海量模型支持：Day-0 支持超过 1,000 个文本和多模态模型。
• 硬件无关：适用于 NVIDIA GPU、AMD GPU、Apple MPS、CPU 以及国产 NPU/GPU。
• 完整流程：涵盖从数据集准备、训练到量化以及 OpenAI 兼容部署的所有环节。
• 高级强化学习：内置对 GRPO 算法系列以及 DPO 和 ORPO 等偏好学习方法的支持。
• 用户友好：提供命令行界面和零门槛的 Web-UI，适合非专家使用。