inisis/OnnxSlim

A Toolkit to Help Optimize Onnx Model

解决的问题

OnnxSlim 通过移除不必要的算子来降低 ONNX 模型的复杂度。此过程在保持相同准确性的同时精简模型，从而提升推理速度并加快模型加载时间。

提供 Python 包和命令行界面来处理 ONNX 模型。用户可以运行简单的 bash 命令来精简模型，或在 Python 脚本中使用 onnxslim.slim() 函数来优化模型的图结构。

专为需要优化部署模型的 AI 开发者和 ML 工程师设计，特别是使用 ONNX 格式以支持各种硬件加速器或推理引擎的用户。

集成到 NVIDIA TensorRT-Model-Optimizer、HuggingFace Optimum 和 transformers.js 等主要框架中。
在 LLM 推理优化挑战中拥有经过验证的性能（在 AICAS 2024 和 2025 中排名第一）。
被 Ultralytics 和 MNN-LLM 等项目广泛采用。
通过 pip 简单安装。

项目
onnxsim/onnxsim
一个通过执行常量折叠和图优化来移除冗余算子并降低复杂度，从而简化 ONNX 模型的工具。
项目
microsoft/onnxruntime
一个跨平台的机器学习加速器，可优化各种框架（如 PyTorch 和 TensorFlow）模型的推理与训练。
项目
microsoft/Olive
一个 AI 模型优化工具包，可根据硬件和性能约束，组合最佳优化技术，为云或边缘推理创建高效的 ONNX 模型。
项目
NVIDIA/Model-Optimizer
NVIDIA Model Optimizer 是一个开源 Python 库，用于压缩和加速大型 AI 模型（LLM、VLM、扩散模型）。它支持 PTQ、量化感知训练、剪枝、蒸馏、投机性解码和稀疏性，可处理 Hugging Face、PyTorch 或 ONNX 输入，并可直接导出到 TensorRT-LLM、vLLM、SGLang 等。通过 `pip install nvidia-modelopt[all]` 安装或使用 NVIDIA 容器。该仓库包含文档、示例和预量化检查点。
项目
microsoft/onnxscript
一个基于 Python 的框架，允许开发者使用自然的 Python 语法而不是手动图构建来编写、调试和优化 ONNX 模型。