microsoft/Olive
Olive: Simplify ML Model Finetuning, Conversion, Quantization, and Optimization for CPUs, GPUs and NPUs.
해결하는 문제
Olive는 AI 모델을 배포하기 위한 최적화 과정을 단순화합니다. 특정 하드웨어(클라우드 또는 엣지)에서 모델이 효율적으로 실행되도록 하면서 필요한 정확도와 지연 시간을 유지하기 위해 최적의 최적화 기법 조합을 찾는 문제를 해결합니다.
작동 방식
Olive(ONNX LIVE)는 모델과 타겟 하드웨어 사양을 입력받습니다. 양자화(GPTQ를 통한 int4 정밀도 등) 및 ONNX 그래프 최적화와 같은 최적화 기법의 시퀀스를 조합하여 최적화된 ONNX 모델을 생성합니다. Llama, Phi, Qwen, Gemma와 같은 인기 있는 아키텍처를 즉시 자동으로 최적화할 수 있습니다.
대상 사용자
NPUs 및 기타 엣지 장치를 포함한 다양한 하드웨어 타겟에서 고성능 추론을 위해 AI 모델을 ONNX Runtime에 배포해야 하는 개발자 및 ML 엔지니어.
주요 기능
- 인기 있는 모델 아키텍처의 자동 최적화를 위한 CLI 제공.
- 모델 크기 축소 및 속도 향상을 위한 양자화 알고리즘 및 기법 지원.
- Hugging Face와 통합되어 모델을 직접 가져올 수 있음.
- ONNX Runtime에 최적화되어 크로스플랫폼 및 디바이스 내 추론을 가능하게 함.
관련
- 프로젝트
inisis/OnnxSlimONNX 모델을 슬림화하여 연산자를 줄여 정확도를 희생하지 않고 추론 속도와 로드 시간을 개선하는 도구입니다.
- 프로젝트
NVIDIA/Model-OptimizerNVIDIA Model Optimizer는 대규모 AI 모델(LLM, VLM, 확산 모델)을 압축하고 가속화하기 위한 오픈 소스 Python 라이브러리입니다. PTQ, 양자화 인지 학습, 가지치기, 증류, 투기적 디코딩, 희소성을 지원하며, Hugging Face, PyTorch 또는 ONNX 입력과 함께 작동하고 TensorRT-LLM, vLLM, SGLang 등으로 직접 내보낼 수 있습니다. `pip install nvidia-modelopt[all]`로 설치하거나 NVIDIA 컨테이너를 사용하세요. 리포지토리에는 문서, 예제, 사전 양자화 체크포인트가 포함되어 있습니다.
- 프로젝트
- 프로젝트
huggingface/optimumHugging Face 생태계의 확장으로, 대상 하드웨어 가속기에서 AI 모델을 최대 효율로 학습하고 실행할 수 있는 최적화 도구를 제공합니다.
- 프로젝트
PINTO0309/PINTO_model_zoo다양한 배포 형식(TensorFlow Lite, ONNX, OpenVINO, CoreML, EdgeTPU 등)으로 미리 변환된 딥러닝 모델(이미지 분류, 객체 탐지 등)의 엄선된 컬렉션입니다. 이 저장소는 모델 아티팩트, 라이선스 정보, 변환 도구 링크를 제공하여 개발자가 직접 변환 작업을 수행할 필요 없이 다양한 하드웨어에 모델을 배포할 수 있도록 돕습니다.