inisis/OnnxSlim

A Toolkit to Help Optimize Onnx Model

何を解決するか

OnnxSlimは、不要な演算子を削除することで、ONNXモデルの複雑さを軽減します。このプロセスにより、モデルの推論速度が向上し、演算子の数が減少しますが、モデルの精度は損なわれません。

どうやって動くか

Pythonパッケージとコマンドラインインターフェース（CLI）を提供しており、既存のONNXモデルを処理できます。最適化パスを適用することで、モデルのグラフ構造を簡略化し、より効率的なバージョンのモデルが得られます。

だれ向けか

ONNXモデルをデプロイに使用するAI開発者やMLエンジニア。特に、さまざまなハードウェアターゲットでのパフォーマンスとロード速度の最適化を求める人向けです。

特徴

  • 広範な統合: NVIDIA TensorRT-Model-Optimizer、HuggingFace optimum、transformers.jsなどの主要フレームワークに統合されています。
  • 実証されたパフォーマンス: 2024年および2025年のAICAS LLM推論最適化チャレンジで1位を獲得。
  • 使いやすさ: 1行のbashコマンドとPython APIの両方を提供し、スクリプトへの統合が簡単です。
  • 高い採用率: PyPIで1,000万回以上のダウンロードを達成しています。

関連

  • プロジェクト
    onnxsim/onnxsim

    A tool to simplify ONNX models by performing constant folding and graph optimization to remove redundant operators and reduce complexity.

  • プロジェクト
    microsoft/onnxruntime

    PyTorch や TensorFlow などのさまざまなフレームワークのモデルの推論とトレーニングを最適化するクロスプラットフォームの機械学習アクセラレータ。

  • プロジェクト
    microsoft/Olive

    クラウドまたはエッジ推論向けに、ハードウェアとパフォーマンス制約に基づいて効率的なONNXモデルを生成するための、AIモデル最適化ツールキット。

  • プロジェクト
    microsoft/onnxscript

    Python の簡潔なサブセットを使用して、開発者が ONNX モデルと関数を記述、デバッグ、最適化できる Python ベースのフレームワーク。

  • プロジェクト
    NVIDIA/Model-Optimizer

    NVIDIA Model Optimizer (ModelOpt) は、Hugging Face、PyTorch、またはONNXモデルに量子化、プルーニング、NAS、蒸留、予測デコード、スパース性を適用し、TensorRT‑LLM、vLLM、SGLangなどのNVIDIAランタイムで高速推論可能な形でエクスポートできるオープンソースのPythonライブラリです。