inisis/OnnxSlim

해결하는 문제

OnnxSlim은 불필요한 연산자를 제거함으로써 ONNX 모델의 복잡성을 줄입니다. 이 과정을 통해 모델의 추론 속도를 향상시키고 연산자 수를 줄이지만, 모델의 정확도는 손실되지 않습니다.

작동 방식

기존 ONNX 모델을 처리할 수 있는 Python 패키지와 명령줄 인터페이스(CLI)를 제공합니다. 최적화 패스를 적용하여 모델의 그래프 구조를 단순화함으로써 동일한 모델의 더 효율적인 버전을 생성합니다.

대상 사용자

ONNX 모델을 배포에 사용하는 AI 개발자 및 ML 엔지니어. 특히 다양한 하드웨어 타겟에서 성능과 로드 속도를 최적화하고자 하는 사용자에게 적합합니다.

주요 특징

• 광범위한 통합: NVIDIA TensorRT-Model-Optimizer, HuggingFace optimum, transformers.js 등 주요 프레임워크에 통합되어 있습니다.
• 검증된 성능: 2024년 및 2025년 AICAS LLM 추론 최적화 챌린지에서 1위를 차지했습니다.
• 사용 편의성: 간단한 1줄 bash 명령어와 Python API를 제공하여 스크립트에 쉽게 통합할 수 있습니다.
• 높은 채택률: PyPI에서 1,000만 회 이상의 다운로드를 기록했습니다.