PaddlePaddle/ERNIE

What it solves

ERNIE 4.5 是一組設計用於在文本理解、圖像/視頻理解以及跨模態推理方面提供最先進性能的大規模多模態模型。它解決了在訓練多模態模型時，一種模態可能會阻礙另一種模態學習的挑戰，同時為各種硬體平台提供可擴展的基礎設施，以實現高效訓練與高性能推理。

How it works

該專案利用了異質混合專家 (MoE) 架構，允許在不同模態之間共享參數，同時為每一種模態保留專屬參數。這由模態隔離的路由 (modality-isolated routing) 與特定的損失函數 (router orthogonal and multimodal token-balanced loss) 提供支持，以確保文本與視覺數據之間的相互增強。這些模型是基於 PaddlePaddle 深度學習框架構建的，並採用了混合並行、FP8 混合精度訓練以及先進的量化 (4-bit/2-bit) 技術，以實現高效部署。

Who it’s for

此專案適用於需要高性能 LLM 或視覺語言模型 (VLMs) 用於指令遵循、世界知識記憶以及視覺推理等任務的 AI 研究人員與開發人員。它也為尋求使用 SFT、DPO 或 LoRA 進行模型微調的人士提供工具。

Highlights

• Multimodal Heterogeneous MoE: 一種在不損害文本性能的前提下，增強多模態理解的新穎結構。
• Scaling-Efficient Infrastructure: 透過節點內專家並行 (intra-node expert parallelism) 與內存效率高的管道調度 (memory-efficient pipeline scheduling) 實現高預訓練吞吐量。
• Thinking and Non-Thinking Modes: VLMs 支持兩種模式，以平衡感知與複雜推理。
• ERNIEKit & FastDeploy: 工業級工具包，涵蓋訓練、壓縮與生產就緒的推理過程的全生命週期。"},