openvinotoolkit/openvino
OpenVINO™ is an open source toolkit for optimizing and deploying AI inference
What it solves
OpenVINO は、さまざまなハードウェア プラットフォーム上でディープラーニングモデルを最適化および展開するために設計されたオープンソース ツールキットです。コンピュータ ビジョン、自動音声認識、生成 AI、および自然言語処理などのタスクの性能を向上させることで、モデルの展開における非効率性を解決します。
How it works
OpenVINO は、ユーザーが PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、および JAX/Flax などの一般的なフレームワークでトレーニングされたモデルを最適化された形式に変換することを可能にします。変換後、モデルは CPU (x86, ARM)、GPU (Intel integrated and discrete)、および AI アクセラレータ (NPUs) などの特定のハードウェア向けにコンパイルされます。これにより、元のトレーニング フレームワークを必要とせずに、効率的な推論が可能になります。
Who it’s for
エッジ デバイスやクラウド 環境でディープラーニングモデルを展開するために、Intel-based ハードウェアやその他の互換性のあるプラットフォームをターゲットとする開発者や AI エンジニア向けです。
Highlights
- Broad Framework Support: Compatible with PyTorch, TensorFlow, ONNX, and Hugging Face Hub models via Optimum Intel.
- Hardware Flexibility: Supports inference on CPU, GPU, and NPU.
- GenAI Capabilities: Includes a dedicated GenAI API for optimized pipelines and performance for LLMs.
- Extensive Ecosystem: Integrates with tools like NNCF for quantization and the OpenVINO Model Server for scalable serving.