openvino: 多様なハードウェアプラットフォームにわたってディープラーニングモデルを最適化およびデプロイするためのオープンソースツールキット

何を解決するか

OpenVINOは、幅広いハードウェアにわたってディープラーニングモデルを最適化およびデプロイするプロセスを簡素化します。デプロイ時に元のトレーニングフレームワークをインストールしておく必要がなくなり、コンピュータビジョン、音声認識、生成AIなどのタスクのパフォーマンスを向上させます。

仕組み

OpenVINOは、一般的なフレームワーク（PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、およびJAX/Flax）からのモデルを最適化された形式に変換します。これらのモデルは、特定のハードウェアターゲット向けにコンパイルされ、CPU（x86およびARM）、GPU（Intelの内蔵およびディスクリート）、およびNPU（Intel AIアクセラレータ）上で効率的に実行できるようになります。

対象者

ディープラーニングモデルをプロダクション環境にデプロイする必要がある開発者やAIエンジニア、特にエッジからクラウドのプラットフォームやIntelベースのハードウェアをターゲットにしている人々です。

ハイライト

• 幅広いフレームワークのサポート: PyTorch、TensorFlow、ONNX、およびその他と互換性があり、Optimum Intelを介してHugging Faceと直接統合されます。
• マルチハードウェア・デプロイメント: CPU、GPU、およびNPUでの推論をサポートします。
• GenAI機能: LLM向けに最適化されたパイプラインとパフォーマンスのための専用のGenAI APIが含まれています。
• 広範なエコシステム: vLLM、LlamaIndex、LangChain、およびNeural Network Compression Framework (NNCF)などのツールと統合されます。