openvinotoolkit/openvino

OpenVINO™ is an open source toolkit for optimizing and deploying AI inference

What it solves

OpenVINO는 다양한 하드웨어 플랫폼에서 딥러닝 모델을 최적화하고 배포하기 위해 설계된 오픈소스 툴킷입니다. 컴퓨터 비전, 자동 음성 인식, 생성형 AI, 그리고 자연어 처리와 같은 작업의 성능을 향수를 높여 모델 배포의 비효율성을 해결합니다.

How it works

OpenVINO는 사용자가 PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, 및 JAX/Flax와 같은 인기 있는 프레임워크에서 학습시킨 모델을 최적화된 형식으로 변환할 수 있게 합니다. 변환이 완료되면, 모델은 CPU (x86, ARM), GPU (Intel integrated and discrete), 및 AI 가속기 (NPUs)와 같은 특정 하드웨어에 맞게 컴파일됩니다. 이를 통해 원래의 학습 프레임워크 없이도 효율적인 추론을 수행할 수 있습니다.

Who it’s for

에지 디바이스 또는 클라우드 환경에서 딥러닝 모델을 배포해야 하는 개발자 및 AI 엔지니어, 특히 Intel-based 하드웨어 및 기타 호환 플랫폼을 대상으로 하는 사용자들을 위한 것입니다.

Highlights

  • Broad Framework Support: Compatible with PyTorch, TensorFlow, ONNX, and Hugging Face Hub models via Optimum Intel.

  • Heightened Hardware Flexibility: Supports inference on CPU, GPU, and NPU.

  • GenAI Capabilities: Includes a dedicated GenAI API for optimized pipelines and возможности для LLMs.[

  • Extensive Ecosystem: Integrates with tools like NNCF for quantization and the OpenVINO Model Server for scalable serving.