inisis/OnnxSlim

A Toolkit to Help Optimize Onnx Model

해결하는 문제

OnnxSlim은 불필요한 연산자를 제거하여 ONNX 모델의 복잡성을 줄입니다. 이 프로세스는 동일한 정확도를 유지하면서 모델을 슬림화하여 추론 속도 향상과 모델 로드 시간 단축으로 이어집니다.

작동 방식

ONNX 모델을 처리하기 위한 Python 패키지와 명령줄 인터페이스를 제공합니다. 사용자는 간단한 bash 명령을 실행하여 모델을 슬림화하거나 Python 스크립트에서 onnxslim.slim() 함수를 사용하여 모델의 그래프 구조를 최적화할 수 있습니다.

대상 사용자

다양한 하드웨어 가속기나 추론 엔진을 대상으로 하는 ONNX 형식을 사용하는 사람들을 포함하여 배포를 위해 모델을 최적화해야 하는 AI 개발자와 ML 엔지니어를 위해 설계되었습니다.

주요 특징

  • NVIDIA TensorRT-Model-Optimizer, HuggingFace Optimum, transformers.js와 같은 주요 프레임워크에 통합됨.
  • LLM 추론 최적화 챌린지에서 입증된 성능(AICAS 2024 및 2025에서 1위).
  • Ultralytics 및 MNN-LLM과 같은 프로젝트에서 널리 채택됨.
  • pip를 통한 간편한 설치.

관련

  • 프로젝트
    onnxsim/onnxsim

    상수 폴딩 및 그래프 최적화를 수행하여 중복 연산자를 제거하고 복잡성을 줄여 ONNX 모델을 단순화하는 도구입니다.

  • 프로젝트
    microsoft/onnxruntime

    PyTorch 및 TensorFlow와 같은 다양한 프레임워크의 모델에 대한 추론 및 학습을 최적화하는 크로스 플랫폼 머신 러닝 가속기.

  • 프로젝트
    microsoft/Olive

    하드웨어 및 성능 제약 조건에 따라 클라우드 또는 엣지 추론을 위한 효율적인 ONNX 모델을 생성하는 AI 모델 최적화 툴킷입니다.

  • 프로젝트
    NVIDIA/Model-Optimizer

    NVIDIA Model Optimizer는 대규모 AI 모델(LLM, VLM, 확산 모델)을 압축하고 가속화하기 위한 오픈 소스 Python 라이브러리입니다. PTQ, 양자화 인지 학습, 가지치기, 증류, 투기적 디코딩, 희소성을 지원하며, Hugging Face, PyTorch 또는 ONNX 입력과 함께 작동하고 TensorRT-LLM, vLLM, SGLang 등으로 직접 내보낼 수 있습니다. `pip install nvidia-modelopt[all]`로 설치하거나 NVIDIA 컨테이너를 사용하세요. 리포지토리에는 문서, 예제, 사전 양자화 체크포인트가 포함되어 있습니다.

  • 프로젝트
    microsoft/onnxscript

    수동 그래프 구성 대신 자연스러운 Python 구문을 사용하여 ONNX 모델을 작성, 디버깅 및 최적화할 수 있는 Python 기반 프레임워크입니다.