openvinotoolkit/openvino
OpenVINO™ is an open source toolkit for optimizing and deploying AI inference
What it solves
OpenVINO 是一個旨在於各種硬體平台優化與部署深度學習模型的開源工具包。它透過提升電腦視覺、自動語音辨識、生成式 AI 和自然語言處理等任務的性能，解決了模型部署效率低下的問題。
How it works
OpenVINO 允許使用者將在熱門框架中訓練的模型——例如 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax——轉換為優化格式。轉換完成後，模型會針對特定硬體進行編譯，例如 CPU (x86, ARM)、GPU (Intel integrated and discrete) 以及 AI 加速器 (NPUs)，從而實現高效的推論，而無需使用原始的訓練框架。
Who it’s for
它適用於需要在邊緣設備或雲端環境中部署深度學習模型的開發者和 AI 工程師，特別是針對 Intel-based 硬體和其他相容平台的使用者。
Highlights
- Broad Framework Support: Compatible with PyTorch, TensorFlow, ONNX, and Hugging Face Hub models via Optimum Intel.
- Hardware Flexibility: Supports inference on CPU, GPU, and NPU.
- GenAI Capabilities: Includes a dedicated GenAI API for optimized pipelines and performance for LLMs.
- Extensive Ecosystem: Integrates with tools like NNCF for quantization and the OpenVINO Model Server for scalable serving.