huggingface/optimum-intel

🤗 Optimum Intel: Accelerate inference with Intel optimization tools

What it solves

它簡化了在 Intel 硬體上加速 AI 模型的過程。它作為熱門 AI 函式庫（如 Transformers, Diffusers, 和 Sentence Transformers）與 OpenVINO 工具箱之間的橋樑，讓使用者能夠在 Intel CPU、GPU 和專用 AI 加速器上更有效地優化並執行模型。

How it works

該專案提供了一套工具，可將 AI 模型轉換為 OpenVINO Intermediate Representation (IR) 格式。使用者可以使用命令列工具 (optimum-cli) 或網頁版 Space 來匯出模型。轉換完成後，該函式庫提供特定的類別（例如 OVModelForCausalLM）來載入這些優化後的模型，以進行高效能推論。

Who it’s for

想要在 Intel 架構系統上部署時極大化模型效能的開發者與機器學習工程師。

Highlights

  • Intel CPU、GPU 和 DL 加速器上的高效能推論。
  • 透過 CLI 或 Hub space 進行簡單的模型匯出至 OpenVINO IR 格式。
  • 支援後訓練靜態量化（例如 int8）以進一步縮小模型大小並提升速度。
  • 與 🤗 Transformers, Diffusers, 和 timm 函式庫的整合。