Neroued/ninfer

해결하는 문제

NInfer는 NVIDIA GeForce RTX 5090에서 Qwen3.5 Dense 및 MoE 아키텍처를 실행하기 위해 특별히 설계된 고성능 추론 엔진입니다. 오버헤드를 최소화하는 특수 런타임을 통해 텍스트, 이미지, 비디오 프롬프트에 대한 단일 GPU 추론 성능을 극대화하는 것을 목표로 합니다.

작동 방식

C++/CUDA로 처음부터 구축된 이 엔진은 sm_120a 아키텍처에 최적화되어 있습니다. 고정된 수의 실행 레인(1-8)과 단일 상주 모델을 사용합니다. 시스템은 활성 요청과 유지된 접두사에 대해 공유 KV 풀을 사용하여 효율적인 리소스 인식 장기 컨텍스트 재사용을 가능하게 합니다. BF16, INT8, FP8, NVFP4와 같은 다양한 가중치 형식과 MTP 및 DFlash와 같은 추측 디코딩 기술을 지원하여 토큰 생성을 가속화합니다.

대상 사용자

RTX 5090을 소유하고 CLI 또는 OpenAI/Anthropic 호환 HTTP API를 통해 로컬에서 Qwen3.5 모델의 처리량과 지연 시간을 극대화하려는 개발자와 연구자.

주요 특징

• RTX 5090 특화: Blackwell 아키텍처에 특별히 튜닝되어 최대 단일 GPU 성능을 달성합니다.
• 멀티모달 지원: 텍스트, 이미지, 다중 이미지, 비디오 프롬프트를 처리합니다.
• 고급 디코딩: 더 빠른 생성을 위해 MTP 추측 디코딩과 DFlash를 구현합니다.
• 컨텍스트 관리: TTFT(첫 토큰까지의 시간)를 줄이기 위해 Device/Host 상태 유지와 함께 비공개 및 공유 정확한 접두사 재사용 기능을 제공합니다.
• 높은 처리량: 청크 프리필과 정확한 배치 CUDA Graph 디코딩을 지원합니다.
• API 호환성: 쉬운 통합을 위해 OpenAI 및 Anthropic 호환 엔드포인트를 제공합니다.

SUMMARY: NVIDIA RTX 5090에 최적화된 C++/CUDA 추론 엔진으로, 텍스트, 이미지, 비디오에서 Qwen3.5 Dense 및 MoE 모델에 대한 최대 성능을 제공합니다.

TITLE: RTX 5090에서 최대 단일 GPU 성능을 위한 특수 C++/CUDA 추론 엔진