PaddleNLP: 무엇이며, 어떤 문제를 해결하고, 왜 주목받고 있는가

해결하는 문제

PaddleNLP는 PaddlePaddle 딥러닝 프레임워크 위에 구축된 대규모 언어 모델(LLM) 개발 스위트입니다. 전체 LLM 라이프사이클(학습, 압축, 추론)의 복잡성을 해결하기 위해 다양한 하드웨어 플랫폼에서 작동하는 통합 툴킷을 제공하여 서로 다른 칩 간 전환에 드는 개발 비용을 줄여줍니다.

작동 방식

이 스위트는 AI 파이프라인의 각 단계에 필요한 포괄적인 도구 세트를 제공합니다:

• 학습: 4D 고성능 학습(데이터 병렬, 그룹 파라미터 샤딩, 텐서 모델 병렬, 파이프라인 모델 병렬)을 지원하며, 동적 자원 스케일링 및 효율적인 모델 저장을 위한 Unified Checkpoint 도구를 포함합니다.
• 파인튜닝: 제로 패딩 데이터 스트림과 FlashMask 연산자를 활용해 불필요한 연산을 줄이고 처리량을 높입니다.
• 추론: 동적 삽입 및 연산자 Fusion 전략을 갖춘 고성능 추론 모듈을 제공해 생성 속도를 가속화합니다.
• 하드웨어 적응: NVIDIA GPU, Kunlun XPU, Ascend NPU, Suizyuan GCU, Haiguang DCU 등 여러 하드웨어 백엔드를 지원하는 표준화된 인터페이스를 제공합니다.

대상 사용자

산업 수준의 LLM 애플리케이션을 구현하려는 개발자와 조직을 위해 설계되었습니다. 특히 Llama, Qwen, DeepSeek 등 인기 모델을 다양한 하드웨어 환경에서 효율적으로 학습하고 배포해야 하는 경우에 적합합니다.

주요 특징

• 광범위한 모델 지원: Llama(최대 3.3), Qwen(최대 3), DeepSeek(V2, V3, R1), ChatGLM, Mistral 등 다양한 모델 패밀리를 호환합니다.
• 하드웨어 유연성: NVIDIA GPU뿐만 아니라 여러 AI 가속기를 네이티브로 지원합니다.
• 저장 효율성: Unified Checkpoint 기술을 통해 모델 저장 속도를 95% 가속하고 저장 공간을 최대 78.5% 절감합니다.
• 고급 추론: FP8, INT8, 4비트 양자화와 추론 고처리량을 위한 speculative decoding을 지원합니다.