openvino: 다양한 하드웨어 플랫폼에서 딥러닝 모델을 최적화하고 배포하기 위한 오픈소스 툴킷

해결하는 문제

OpenVINO는 다양한 하드웨어에 걸쳐 딥러닝 모델을 최적화하고 배포하는 과정을 단순화합니다. 배포 시 원본 학습 프레임워크를 유지할 필요가 없으며, 컴퓨터 비전, 음성 인식, 생성 AI와 같은 작업의 성능을 크게 향상시킵니다.

작동 방식

OpenVINO는 PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 등 인기 있는 프레임워크의 모델을 최적화된 포맷으로 변환합니다. 변환된 모델은 특정 하드웨어 대상에 맞게 컴파일되어 CPU(x86 및 ARM), GPU(Intel 통합 및 별도 GPU), NPU(Intel AI 가속기)에서 효율적으로 실행됩니다.

대상 사용자

딥러닝 모델을 프로덕션 환경에 배포해야 하는 개발자 및 AI 엔지니어, 특히 엣지‑투‑클라우드 플랫폼과 Intel 기반 하드웨어를 목표로 하는 경우에 적합합니다.

주요 특징

• 광범위한 프레임워크 지원: PyTorch, TensorFlow, ONNX 등과 호환되며, Optimum Intel을 통한 Hugging Face와의 직접 통합을 포함합니다.
• 다중 하드웨어 배포: CPU, GPU, NPU에서 추론을 지원합니다.
• GenAI 기능: LLM을 위한 최적화된 파이프라인과 성능을 제공하는 전용 GenAI API를 포함합니다.
• 광범위한 에코시스템: vLLM, LlamaIndex, LangChain, Neural Network Compression Framework (NNCF) 등과 통합됩니다.

요약

CPU, GPU, NPU에서 딥러닝 모델을 최적화하고 배포하기 위한 오픈소스 툴킷으로, 다양한 프레임워크와 생성 AI를 지원합니다.

제목

openvino: 다양한 하드웨어 플랫폼에서 딥러닝 모델을 최적화하고 배포하기 위한 오픈소스 툴킷