inisis/OnnxSlim

A Toolkit to Help Optimize Onnx Model

解決する課題

OnnxSlim は不要な演算子を削除することで ONNX モデルの複雑さを軽減します。このプロセスにより、同じ精度を維持しながらモデルがスリム化され、推論速度の向上とモデル読み込み時間の短縮につながります。

仕組み

ONNX モデルを処理するための Python パッケージとコマンドラインインターフェースを提供します。ユーザーは簡単な bash コマンドを実行してモデルをスリム化するか、Python スクリプト内で onnxslim.slim() 関数を使用してモデルのグラフ構造を最適化できます。

対象ユーザー

さまざまなハードウェアアクセラレータや推論エンジンをターゲットとする ONNX 形式を使用している人を中心に、デプロイ用にモデルを最適化する必要がある AI 開発者や ML エンジニア向けに設計されています。

ハイライト

  • NVIDIA TensorRT-Model-Optimizer、HuggingFace Optimum、transformers.js などの主要フレームワークに統合。
  • LLM 推論最適化チャレンジで実証済みのパフォーマンス（AICAS 2024 および 2025 で第 1 位）。
  • Ultralytics や MNN-LLM などのプロジェクトで広く採用。
  • pip による簡単なインストール。

関連

  • プロジェクト
    onnxsim/onnxsim

    定数畳み込みとグラフ最適化を実行して冗余な演算子を削除し、複雑さを軽減することで ONNX モデルを簡素化するツール。

  • プロジェクト
    microsoft/onnxruntime

    PyTorch や TensorFlow などのさまざまなフレームワークのモデルの推論とトレーニングを最適化するクロスプラットフォームの機械学習アクセラレータ。

  • プロジェクト
    microsoft/Olive

    クラウドまたはエッジ推論向けに、ハードウェアとパフォーマンス制約に基づいて効率的なONNXモデルを生成するための、AIモデル最適化ツールキット。

  • プロジェクト
    NVIDIA/Model-Optimizer

    NVIDIA Model Optimizerは、大規模なAIモデル（LLM、VLM、拡散）を圧縮および高速化するためのオープンソースのPythonライブラリです。PTQ、量子化対応トレーニング、プルーニング、蒸留、投機的デコード、スパーシティをサポートし、Hugging Face、PyTorch、またはONNX入力で動作し、TensorRT-LLM、vLLM、SGLangなどに直接エクスポートできます。`pip install nvidia-modelopt[all]`でインストールするか、NVIDIAコンテナを使用します。リポジトリには、ドキュメント、例、事前量子化チェックポイントが含まれています。

  • プロジェクト
    microsoft/onnxscript

    手動のグラフ構築の代わりに、自然な Python 構文を使用して ONNX モデルの作成、デバッグ、最適化を可能にする Python ベースのフレームワーク。