NVIDIA/TensorRT-Edge-LLM

TensorRT Edge‑LLM – NVIDIA 에지 디바이스를 위한 고성능 LLM 추론

무엇인가요 – NVIDIA가 개발한 C++/Python 런타임으로, Jetson, DRIVE, DGX Spark와 같은 에지 플랫폼에서 대규모 언어 모델(LLM) 및 멀티모달 모델(시각, 음성, 음성, 행동)을 실행합니다. 이 프레임워크는 Hugging Face 체크포인트를 받아 ONNX로 변환하거나(또는 체크포인트에서 직접 빌드), 타겟 GPU에 최적화된 TensorRT 엔진으로 컴파일합니다.

주요 기능

• 에지 중심 추론 – Jetson 클래스 장치 및 자동차 등급 하드웨어에서 저지연, 저메모리로 작동하도록 설계되었습니다.
• 모델 지원 – Gemma 4, Qwen 3, Nemotron‑3.5, Cosmos3‑Edge, DiffusionGemma 등 최신 모델의 즉시 실행 가능한 체크포인트를 제공하며, 선택적 양자화 및 다중 회차 KV 캐시 재사용 기능을 지원합니다.
• 성능 최적화 기술 – 인플라이트 배치 처리, 사전 추론(예: DSpark, DFlash, DDTree), 다중 장치(TP=2) 추론, ONNX 내보내기 단계를 건너뛰는 직접 엔진 빌더를 포함합니다.
• 고수준 Python API – vLLM 스타일 API와 OpenAI 호환 HTTP 서버(tensorrt‑edgellm[server])를 제공하여 쉽게 통합할 수 있습니다.
• 확장성 – 사용자 정의 TensorRT 연산자, 챗 템플릿 구성, 사용자 정의 런타임 커스터마이징을 위한 개발자 가이드를 제공하는 플러그인 시스템을 갖추고 있습니다.

일반적인 워크플로우

1. 지원 모델 목록에서 지원되는 모델을 선택합니다.
2. 체크포인트를 ONNX로 내보내거나 실험적 직접 빌더를 사용합니다.
3. 제공된 C++ 도구 또는 Python 헬퍼로 TensorRT 엔진을 빌드합니다.
4. 사전 빌드된 Python 웨일(pip install tensorrt‑edgellm==0.11.0)을 설치합니다.
5. Python API를 통해 추론을 실행하거나 OpenAI 호환 서버를 시작하여 REST 호출을 처리합니다.

설치(빠른 방법)

# 타겟 장치에 호환되는 CUDA/TensorRT 스택이 필요합니다
pip install tensorrt-edgellm==0.11.0   # 기본 패키지
# 선택적 서버 지원
pip install "tensorrt-edgellm[server]"

자세한 내용은 Quick Start Guide와 Support Matrix를 참조하세요.

성능 – 문서에 링크된 벤치마크에 따르면, Jetson AGX Thor에서 이전 솔루션 대비 MLPerf Edge Agentic 점수가 최대 6.4배 빠르며, 30-B 클래스 모델에 대해서도 높은 프리필 및 생성 스루풋을 유지합니다.

사용 사례 요약

• 자동차 – 차량 내 어시스턴트, 음성 제어 UI, 운전자 보조 인식.
• 로봇공학 – 자연어 명령 처리, 시각적 Q&A, 작업 계획.
• 산업용 IoT – 장치 내 NLP를 통한 모니터링, 예측 정비, 음성 제어 기계.
• 소비자 에지 – 오프라인 챗봇, 프라이버시 보호 언어 처리, 휴대기기에서의 저지연 추론.

문서 및 커뮤니티 – 전체 문서는 https://nvidia.github.io/TensorRT-Edge-LLM/ 에서 확인 가능하며, 지원을 위해 이슈 트래커, GitHub Discussions, NVIDIA Developer 포럼을 활용할 수 있습니다.

라이선스 – Apache 2.0.

---

위 정보는 리포지토리의 README 및 링크된 문서에서 직접 가져왔습니다.