PaddlePaddle/ERNIE

What it solves

ERNIE n4.5는 텍스트 이해, 이미지/비디오 이해, 그리고 교차 모달리티 추론에서 최첨단 성능을 제공하도록 설계된 대규모 멀티모달 모델 제품군입니다. 이는 한 모달리티가 다른 모달리티의 학습을 방해할 수 있는 멀티모달 모델 학습의 과제를 해결하며, 다양한 하드웨어 플랫폼에서 효율적인 학습과 고성능 추론을 위한 확장 가능한 인프라를 제공합니다.

How it works

이 프로젝트는 모달리티 간의 파라미터 공유를 허용하면서도 각 모달리티를 위한 전용 파라미터를 유지하는 이종 혼합 전문가 (MoE) 아키텍처를 활용합니다. 이는 텍스트와 시각 데이터 간의 상호 보완을 위한 모달리티 격리 라우팅 (modality-isolated routing) 및 특정 손실 함수 (router orthogonal and multimodal token-balanced loss)에 의해 지원됩니다. 모델은 PaddlePaddle 딥러닝 프레임워크를 기반으로 구축되었으며, 하이브리드 병렬 처리, FP8 혼합 정밀도 학습, 그리고 효율적인 배포를 위한 고급 양자화 (4-bit/2-bit) 기술을 채택했습니다.

Who it’s for

이 프로젝트는 지시 따르기, 세계 지식 암기, 시각적 추론과 같은 작업을 위해 고성능 LLM 또는 시각 언어 모델 (VLMs)이 필요한 AI 연구자 및 개발자들을 위한 것입니다. 또한 SFT, DPO 또는 LoRA를 사용하여 모델을 미세 조정하려는 사람들을 위한 도구도 제공합니다.

Highlights

• Multimodal Heterogeneous MoE: 텍스트 성능을 저해하지 않으면서 멀티모달 이해를 향강하는 새로운 구조.
• Scaling-Efficient Infrastructure: 노드 내 전문가 병렬화 (intra-node expert parallelism) 및 메모리 효율적인 파이프라인 스케줄링을 통해 높은 사전 학습 처리량(throughput)을 실성현합니다.
• Thinking and Non-Thinking Modes: VLMs는 인지 및 복잡한 추론의 균형을을 위한 두 가지 모드를 지원합니다.
• ERNIEKit & FastDeploy: 학습, 압축 및 프로덕션 레디의 추론을 위한 산업급 툴킷입니다.