openvinotoolkit/nncf

Neural Network Compression Framework for enhanced OpenVINO™ inference

解决的问题

NNCF 通过减小神经网络的大小和复杂性来优化其推理过程，使其在精度损失最小的情况下运行得更快、使用更少的资源。它提供了用于压缩 PyTorch、ONNX 和 OpenVINO 后端模型的工具。

工作原理

NNCF 使用多种压缩算法，主要分为两大类：

  • 训练后压缩：在模型训练完成后应用，仅需少量校准数据集即可优化模型。包括训练后量化（PTQ）和权重压缩。
  • 训练时压缩：集成到训练或微调过程中。包括量化感知训练（QAT）、剪枝，以及使用 LoRA 和 NLS 的仅权重量化感知训练。

适用人群

专为需要将神经网络部署到对推理速度和内存效率要求较高的生产环境中的开发人员和机器学习工程师设计，尤其适用于使用 OpenVINO 工具包的场景。

主要亮点

  • 多后端支持：支持 PyTorch、TorchFX、ONNX 和 OpenVINO。
  • 全面的工具集：提供训练后压缩和量化感知训练方法。
  • GPU 加速：包含 GPU 加速层，可加快压缩模型的微调速度。
  • 集成性：提供统一的压缩方法接口，并支持分布式训练。

相关

  • 项目
    openvinotoolkit/openvino

    一个用于在 CPU、GPU 和 NPU 硬件上优化和部署深度学习模型的开源工具包，旨在提升推理性能。

  • 项目
    intel/neural-compressor

    一个开源的 Python 库，为 PyTorch、TensorFlow 和 JAX 模型提供模型压缩和量化技术，以提升推理效率。

  • 项目
    pnnx/pnnx

    pnnx 是一个开源工具，可优化 PyTorch 模型并将其导出为轻量、无依赖的格式（PNNX）以及 ncnn/ONNX-zero 文件，使边缘设备上的快速推理成为可能。

  • 项目
    Neroued/ninfer

    一个针对 NVIDIA RTX 5090 优化的 C++/CUDA 推理引擎，为 Qwen3.5 Dense 和 MoE 模型在文本、图像和视频上提供最大性能。

  • 项目
    openvinotoolkit/model_server

    OpenVINO Model Server (OVMS) 是一个 C++ 推理服务器，通过 OpenAI 兼容 REST 或 KServe gRPC API 提供 LLM、视觉-语言模型和经典深度学习模型。专为 Intel CPU、GPU 和 NPU 优化，支持连续批处理、流式传输、模型版本控制、热重载和 Prometheus 指标。可通过 Docker、裸金属二进制文件或 Kubernetes 部署，支持多种模型格式（TensorFlow、ONNX、OpenVINO IR、GGUF 等），并与标准客户端库集成。