inisis/OnnxSlim

A Toolkit to Help Optimize Onnx Model

解决的问题

OnnxSlim 通过移除不必要的操作符来降低 ONNX 模型的复杂性。此过程可“瘦身”模型，提升推理速度并减少操作符数量，同时不牺牲模型的准确性。

工作原理

提供 Python 包和命令行接口（CLI），允许用户处理现有的 ONNX 模型。通过应用优化步骤，简化模型的图结构，从而生成更高效的相同模型版本。

适用人群

使用 ONNX 模型进行部署的 AI 开发者和 ML 工程师，特别是希望在各种硬件目标上优化性能和加载速度的人。

主要亮点

  • 广泛集成：已集成到 NVIDIA TensorRT-Model-Optimizer、HuggingFace optimum 和 transformers.js 等主要框架中。
  • 性能验证：在 2024 年和 2025 年的 AICAS LLM 推理优化挑战赛中均排名第一。
  • 易于使用：提供简单的单行 bash 命令和 Python API，便于集成到脚本中。
  • 高采用率：在 PyPI 上已获得超过 1000 万次下载。

相关

  • 项目
    onnxsim/onnxsim

    A tool to simplify ONNX models by performing constant folding and graph optimization to remove redundant operators and reduce complexity.

  • 项目
    microsoft/onnxruntime

    一个跨平台的机器学习加速器，可优化各种框架（如 PyTorch 和 TensorFlow）模型的推理与训练。

  • 项目
    microsoft/Olive

    一个 AI 模型优化工具包，可根据硬件和性能约束，组合最佳优化技术，为云或边缘推理创建高效的 ONNX 模型。

  • 项目
    microsoft/onnxscript

    一个基于 Python 的框架，允许开发者使用 Python 的简洁子集来编写、调试和优化 ONNX 模型与函数。

  • 项目
    NVIDIA/Model-Optimizer

    NVIDIA Model Optimizer (ModelOpt) 是一个开源 Python 库，可对 Hugging Face、PyTorch 或 ONNX 模型应用量化、剪枝、NAS、蒸馏、推测解码和稀疏性，并导出为可在 NVIDIA 运行时（如 TensorRT‑LLM、vLLM、SGLang）中实现快速推理的模型。