OpenNMT/CTranslate2

해결하는 문제

CTranslate2는 Transformer 모델의 추론을 더 빠르고 메모리 효율적으로 만들기 위해 설계되었습니다. 이는 Transformer 기반 모델을 프로덕션 환경에 배포할 때 범용 딥러닝 프레임워크에서 흔히 발생하는 높은 리소스 소비와 느린 실행 속도 문제를 해결합니다.

작동 원리

이 라이브러리는 다음과 같은 여러 성능 최적화 기술을 적용하는 사용자 지정 런타임을 구현합니다.

• 가중치 양자화 (Weight Quantization): 가중치 정밀도를 16-bit (FP16, BF16, INT16) 또는 8-bit (INT8) 및 4-bit (AWQ INT4)로 줄여 메모리 사용량을 줄이고 계산 속도를 높입니다.
• 레이어 융합 (Layer Fusion): 여러 작업을 단일 커널로 결합하여 오버헤드를 줄입니다.
• 배치 재정렬 및 패딩 제거 (Batch Reordering and Padding Removal): 패딩 토큰에 대한 불필요한 계산을 피하기 위해 데이터 처리 방식을 최적화합니다.
• 하드웨어 최적화 (Hardware Optimization): Intel MKL, oneDNN, Apple Accelerate와 같은 라이브러리를 사용하여 다양한 CPU 아키텍처 (x86-64, ARM64)에 대한 최적화된 백엔드를 통합합니다.
• 텐서 병렬 처리 (Tensor Parallelism): 매우 큰 모델을 여러 GPU에 분할하여 분산 추론을 수행할 수 있도록 합니다.

모델은 먼저 PyTorch (Transformers), Fairseq 또는 OpenNMT와 같은 프레임워크에서 CTranslate2 전용 최적화 형식으로 변환되어야 합니다.

대상 사용자

CPU와 GPU 모두에서 고성능 프로덕션 지향 추론을 위해 Transformer 모델(Llama, Mistral, Gemma와 같은 LLM 포함)을 배포해야 하는 개발자와 엔지니어를 대상으로 합니다.

주요 특징

• 광범위한 모델 지원: 인코더-디코더, 디코더 전용 (LLMs), 인코더 전용 모델을 지원합니다.
• C++ 및 Python API: Python 및 C++ 인터페이스를 통해 간편한 통합을 제공합니다.
• 낮은 리소스 점유율: 양자화를 통해 정확도 손실을 최소화하면서 디스크상의 모델 크기를 최대 4배까지 줄일 수 있습니다.
• Llama/Mistral/Gemma 지원: 최신 디코더 전용 아키텍처에 최적화되어 있습니다.
• OpenAI 호환 API: 선택적 웹 서버 래퍼를 통해 이미 OpenAI API를 지원하는 애플리케이션과 통합할 수 있습니다.