openvinotoolkit/openvino

OpenVINO™ is an open source toolkit for optimizing and deploying AI inference

What it solves

OpenVINO 是一个开源工具包，旨在于各种硬件平台优化和部署深度学习模型。它通过提升计算机视觉、自动语音识别、生成式 AI 和自然语言处理等任务的性能，解决了模型部署效率低下的问题。

How it works

OpenVINO 允许用户将使用流行框架——如 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax——训练的模型转换为优化格式。转换完成后，模型会针对特定硬件进行编译，例如 CPU (x86, ARM)、GPU (Intel integrated and discrete) 以及 AI 加速器 (NPUs)，从而实现高效的推理，而无需使用原始的训练框架。

Who it’s for

它适用于需要在边缘设备或云端环境部署深度学习模型的开发者和 AI 工程师，特别是在针对 Intel-based 硬件和其他兼容平台的用户。

Highlights

  • Broad Framework Support: Compatible with PyTorch, TensorFlow, ONNX, and Hugging Face Hub models via Optimum Intel.

  • Hardware Flexibility: Supports inference on CPU, GPU, and NPU.

  • GenAI Capabilities: Includes a dedicated GenAI API for optimized pipelines and performance for LLMs.

  • Extensive Ecosystem: Integrates with tools like NNCF for quantization and the OpenVINO Model Server for scalable serving.