Neroued/ninfer

High-performance single-GPU inference for selected model checkpoints and GPUs.

解决的问题

NInfer 是一个专为 NVIDIA GeForce RTX 5090 设计的高性能推理引擎，用于运行 Qwen3.5 Dense 和 MoE 架构。它旨在通过专门化的运行时最小化开销，从而最大化文本、图像和视频提示的单 GPU 推理性能。

工作原理

该引擎完全使用 C++/CUDA 从零构建，针对 sm_120a 架构进行了优化。它使用固定数量的执行通道（1-8）和单个常驻模型。系统为活动请求和保留前缀采用共享 KV 池，实现高效的资源感知长上下文复用。它支持多种权重格式（BF16、INT8、FP8、NVFP4）以及 MTP 和 DFlash 等推测解码技术，以加速令牌生成。

适用人群

拥有 RTX 5090 并希望通过 CLI 或 OpenAI/Anthropic 兼容的 HTTP API 在本地最大化 Qwen3.5 模型吞吐量和延迟的开发者与研究人员。

亮点

  • RTX 5090 专精：针对 Blackwell 架构专门调优，实现最大单 GPU 性能。
  • 多模态支持：处理文本、图像、多图像和视频提示。
  • 高级解码：实现 MTP 推测解码和 DFlash 以加速生成。
  • 上下文管理：支持私有和共享精确前缀复用，并保留设备/主机状态以减少 TTFT（首令牌时间）。
  • 高吞吐量：支持分块预填充和精确批处理 CUDA Graph 解码。
  • API 兼容性：提供 OpenAI 和 Anthropic 兼容端点，便于集成。

相关

  • 项目
    omnimind-ai/OmniInfer

    OmniInfer 是一个跨平台推理引擎，通过简单的 CLI 和兼容 OpenAI 的 HTTP 服务器在本地运行 LLM 和视觉语言模型。它支持多种后端（llama.cpp、MLX、MNN 等），可在桌面、Android 和 iOS 上运行，并提供硬件感知优化和用于聊天的终端 UI。

  • 项目
    guoqingbao/xinfer

    一款用纯 Rust 编写的超高速 LLM 推理引擎，消除了 Python/PyTorch 依赖，可在消费级和专业 GPU 上实现高吞吐、生产就绪的模型服务。

  • Dispatch
    Qwen2.5-1M 发布：开源 7B 和 14B 模型，支持 1M Token 上下文及基于 vLLM 的推理框架

    Qwen 发布了开源的 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 模型，支持高达 100 万 token 的上下文，并配有优化的基于 vLLM 的推理框架，可实现 3-7 倍的预填充加速，并保持与 GPT-4o-mini 相当的短任务性能。

  • 项目
    flashinfer-ai/flashinfer

    FlashInfer 是一个 GPU 内核库（附带 Python 包），为 LLM 推理提供超高速、低精度的注意力、GEMM、MoE 和采样操作。它能自动为从 Turing 到 Blackwell 的广泛 NVIDIA GPU 选择最佳后端（FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM），并已被 vLLM 和 TensorRT-LLM 等主流推理服务器广泛采用。

  • Dispatch
    Qwen 3.5‑397B‑A17B 发布：混合线性注意力 MoE 模型，具备 1 M 令牌上下文和最先进的多模态性能

    Qwen 3.5‑397B‑A17B 是一个拥有 3970 亿参数的多模态模型，每个令牌仅激活 170 亿参数，在语言、编码、推理和视觉任务上实现最先进的性能，同时推理速度比前代提升最高可达 19 倍。