NVIDIA/TensorRT-LLM

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

TensorRT‑LLM – 대규모 언어 모델을 위한 빠르고 프로덕션 등급의 추론

정의 TensorRT‑LLM은 NVIDIA의 오픈 소스 라이브러리로, 학습된 LLM(또는 비주얼 생성 모델)을 고도로 최적화된 추론 엔진으로 변환합니다. 모델의 가장 비용이 많이 드는 작업(어텐션, GEMM, KV 캐시 처리 등)을 위한 맞춤형 CUDA 커널을 생성하고, 이를 기존 서빙 스택에 연결할 수 있는 Python 친화적 런타임으로 래핑합니다.

중요성 단일 GPU에서 30B 파라미터 모델을 인터랙티브 대기 시간으로 실행하는 것은 원시 PyTorch 또는 ONNX 구현이 일반 커널과 메모리 이동에 많은 시간을 소비하기 때문에 어렵습니다. TensorRT‑LLM은 이를 수동 튜닝된 커널로 대체하고, INT8/FP8 양자화, 스파스 어텐션, 투기적 디코딩, 멀티 GPU 병렬 처리를 지원하여 2~10배 높은 토큰 처리량과 낮은 대기 시간을 동일한 모델 정확도로 제공합니다.

주요 기능 (README에서 설명)

어텐션, GEMM 및 KV 캐시 재사용을 위한 특수 커널.
스파스, 양자화, 혼합 정밀도 추론 지원 (FP8, INT8, FP16).
투기적 / N-gram 디코딩 및 가이드 디코딩으로 처리량 향상.
MoE 모델을 위한 분산 가중치 데이터 병렬 처리(DWDP) 및 전문가 병렬 처리.
NVIDIA Triton Inference Server 및 Kubernetes 오토스케일링 통합.
런타임을 확장하거나 사용자 정의할 수 있는 Pythonic API.
GPT‑OSS‑120B, DeepSeek‑R1, Llama‑4, 확산 모델 등을 위한 즉시 실행 가능한 예제.
문서, 성능 가이드 및 향후 최적화 로드맵.

일반적인 사용 사례

대기 시간과 비용이 중요한 프로덕션 서비스에서 채팅형 LLM(GPT‑OSS, Llama, DeepSeek) 배포.
비주얼 AI 워크로드를 위한 확산 또는 비디오 생성 모델 가속화.
고처리량 배치 작업을 위해 멀티 노드 GPU 클러스터(HGX, Blackwell, GH200)에서 추론 확장.
빠른 토큰 생성(코드 완성, 검색, 추천)이 필요한 AI 증강 애플리케이션 구축.

생태계 및 통합

CUDA 13.x, PyTorch 2.14, Python 3.10/3.12 지원.
NVIDIA Triton, BentoML, AWS EKS, Jetson AGX Orin 등과 결합 가능.
ONNX로 내보낸 모델 형식을 지원하고 TensorRT 엔진으로 컴파일.
엔드 투 엔드 파이프라인(모델 변환, 엔진 구축, 서빙)을 안내하는 블로그 및 튜토리얼 제공.

시작하기 (개요)

지원되는 NVIDIA GPU와 CUDA가 있는 머신에 패키지를 설치합니다(사전 빌드된 휠 또는 소스에서 빌드).
모델을 ONNX로 변환(또는 제공된 체크포인트 사용)하고 trtllm 변환 스크립트를 실행하여 TensorRT 엔진을 생성합니다.
Python API를 통해 추론을 실행하거나 엔진을 가리키는 Triton 모델 리포지토리를 시작합니다.
제공된 플래그(배치 크기, 정밀도, KV 캐시 재사용, 투기적 디코딩)를 사용하여 성능을 조정하고 하드웨어 성능 가이드를 참조하십시오.

결론 TensorRT‑LLM은 LLM 및 관련 생성 모델을 위해 최신 NVIDIA GPU에서 최대 추론 성능을 끌어내어 연구 수준의 모델을 비용 효율적인 서비스로 전환하는 프로덕션 중심의 도구 키트입니다.