huggingface/optimum-intel
🤗 Optimum Intel: Accelerate inference with Intel optimization tools
What it solves
Intel 하드웨어에서 AI 모델을 가속화하는 프로세스를 단순화합니다. 인기 있는 AI 라이브러리(Transformers, Diffusers, Sentence Transformers)와 OpenVINO 툴킷 사이의 가교 역할을 하여, 사용자가 Intel CPU, GPU 및 특수 AI 가속기에서 모델을 더 효율적으로 최적화하고 실행할 수 있도록 합니다.
How it works
이 프로젝트는 AI 모델을 OpenVINO Intermediate Representation (IR) 형식으로 변환하는 도구 세트를 제공합니다. 사용자는 명령줄 도구 (optimum-cli) 또는 웹 기반 Space를 사용하여 모델을 내보보낼 수 있습니다. 변환이 완료되면, 이 라이브러리는 고성능 추론을 위해 이러한 최적화된 모델을 로드하기 위한 특정 클래스(예: OVModelForCausalLM)를 제공합니다.
Who it’s for
Intel 기반 시스템에 배포할 때 모델의 성능을 극대화하고자 하는 개발자 및 머신러닝 엔지니어.
Highlights
- Intel CPU, GPU 및 DL 가속기에서의 고성능 추론.
- CLI 또는 Hub space를 통한 OpenVino IR 형식으로의 간단한 모델 내보내기.
- 모델 크기를 더욱 줄이고 속도를 높이기 위해 사후 학습 정적 양자화(예: int8)를 지원합니다.
- 🤗 Transformers, Diffusers, 및 timm 라이브러리와의 통합.