PaddlePaddle/ERNIE

What it solves

ERNIE 4.5 是一组设计用于在文本理解、图像/视频理解以及跨模态推理方面提供最先进性能的大规模多模态模型。它解决了在训练多模态模型时，一种模态可能会阻碍另一种模态学习的挑战，同时为各种硬件平台提供可扩展的基础设施，以实现高效训练和高性能推理。

How it works

该项目利用了异质混合专家 (MoE) 架构，允许在不同模态之间共享参数，同时为每种模态保留专用参数。这由模态隔离的路由 (modality-isolated routing) 与特定的损失函数 (router orthogonal and multimodal token-balanced loss) 提供支持，以确保文本和视觉数据的相互增强。这些模型是基于 PaddlePaddle 深度学习框架构建的，并采用混合并行、FP8 混合精度训练以及先进的量化 (4-bit/2-bit) 技术，以实现高效部署。

Who it’s for

该项目适用于需要高性能 LLM 或视觉语言模型 (VLMs) 用于指令遵循、任务知识记忆以及视觉推理等任务的 AI 研究人员和开发者。它也为寻求使用 SFT、DPO 或 LoRA 进行模型微调的人士提供工具。

Highlights

• Multimodal Heterogeneous MoE: 一种在不损害文本性能的前提下，增强多模态理解的新颖结构。
• Scaling-Efficient Infrastructure: 通过节点内专家并行 (intra-node expert parallelism) 与内存高效的流水线调度 (memory-efficient pipeline scheduling) 实现高预训练吞吐量。
• Thinking and Non-Thinking Modes: VLMs 支持两种模式，以平衡感知与复杂推理。
• Thinking and Non-Thinking Modes: VLMs 支持两种模式，以平衡感知与复杂推理。
• ERNIEKit & FastDeploy: 工业级工具包，涵盖训练、压缩和生产就绪的推理过程的全生命周期。