InternLM/lmdeploy

해결 과제

LMDeploy는 대규모 언어 모델(LLMs)과 시각-언어 모델(VLMs)을 효율적으로 실행하는 데 따르는 과제를 해결합니다. 모델을 압축하고, 추론(텍스트 생성 과정) 속도를 높이며, 단일 또는 다중 머신 환경에서 확장 가능한 서비스로 제공하기 위한 툴킷을 제공합니다.

작동 원리

LMDeploy는 두 가지 고유한 추론 엔진을 제공합니다. 하나는 사용자 정의 CUDA 커널을 사용하여 최대 성능을 위해 고도로 최적화된 TurboMind이고, 다른 하나는 사용 편의성과 빠른 실험을 위해 설계된 PyTorch 기반 엔진입니다. 연속 배치 처리(continuous batching), 블록화된 KV 캐시(blocked KV cache), 텐서 병렬 처리(tensor parallelism)와 같은 기술을 통해 높은 처리량을 달성합니다. 또한, 고급 모델 양자화(4-bit weight-only 및 KV 캐시 양자화 등)를 지원하여 품질 저하 없이 메모리 사용량을 줄이고 속도를 높입니다.

대상 사용자

LLMs 또는 VLMs를 프로덕션 환경에 배포해야 하는 개발자와 엔지니어를 위한 도구입니다. NVIDIA GPU나 Huawei Ascend 플랫폼에서 하드웨어 활용도를 극대화하려는 사용자, 또는 새로운 모델을 빠르게 테스트하고 통합하기 위해 유연한 Python 네이티브 엔진이 필요한 사용자에게 적합합니다.

주요 특징

• 처리량에 최적화된 고성능 추론 엔진 (TurboMind 및 PyTorch)
• Llama, Qwen, DeepSeek, InternVL 시리즈를 포함한 광범위한 LLMs 및 VLMs 지원
• 표준 FP16 대비 성능을 크게 향상시키는 고급 양자화 지원 (AWQ, 4-bit, FP8)
• 다중 모델, 다중 머신, 다중 카드 서빙을 포함한 유연한 배포 옵션
• HuggingFace, ModelScope, openMind와 같은 인기 있는 모델 허브와의 간편한 통합