inisis/OnnxSlim

A Toolkit to Help Optimize Onnx Model

解決的問題

OnnxSlim 透過移除不必要的運算子來降低 ONNX 模型的複雜度。此過程可「瘦身」模型，提升推論速度並減少運算子數量，同時不損失模型的準確性。

工作原理

提供 Python 套件與命令列介面（CLI），讓使用者可處理現有的 ONNX 模型。透過應用最佳化階段，簡化模型的圖結構，進而產生更高效的相同模型版本。

適用對象

使用 ONNX 模型進行部署的 AI 開發者與 ML 工程師，特別是希望在各種硬體目標上優化效能與載入速度的人。

主要亮點

  • 廣泛整合：已整合至 NVIDIA TensorRT-Model-Optimizer、HuggingFace optimum 與 transformers.js 等主要框架。
  • 經實證的效能：在 2024 年與 2025 年的 AICAS LLM 推論最佳化挑戰賽中均獲得第一名。
  • 易於使用：提供簡單的單行 bash 命令與 Python API，方便整合至腳本中。
  • 高採用率：在 PyPI 上已達成超過 1,000 萬次下載。

相關

  • 專案
    onnxsim/onnxsim

    A tool to simplify ONNX models by performing constant folding and graph optimization to remove redundant operators and reduce complexity.

  • 專案
    microsoft/onnxruntime

    一個跨平台的機器學習加速器，可優化各種框架（如 PyTorch 和 TensorFlow）模型的推理與訓練。

  • 專案
    microsoft/Olive

    一個 AI 模型優化工具包，根據硬體與效能限制，組合最佳優化技術，為雲端或邊緣推論創建高效 ONNX 模型。

  • 專案
    microsoft/onnxscript

    一個基於 Python 的框架，讓開發者能使用 Python 的簡潔子集來撰寫、除錯與最佳化 ONNX 模型與函數。

  • 專案
    NVIDIA/Model-Optimizer

    NVIDIA Model Optimizer (ModelOpt) 是一個開源 Python 庫，可對 Hugging Face、PyTorch 或 ONNX 模型應用量化、剪枝、NAS、蒸餾、推測解碼與稀疏性，並導出為可在 NVIDIA 執行時（如 TensorRT‑LLM、vLLM、SGLang）中實現快速推論的模型。