onnxruntime: 機械学習モデルのためのクロスプラットフォームな推論およびトレーニングアクセラレータ

何を解決するか

ONNX Runtimeは、機械学習モデルの実行（推論）とトレーニングの両方のための、高性能でクロスプラットフォームなエンジンを提供します。これは、異なるハードウェア、ドライバ、およびオペレーティングシステム間でのモデルのポータビリティとパフォーマンスの最適化という問題を解決し、開発者がPyTorchやTensorFlowのようなトレーニングフレームワークからプロダクション環境へ効率的にモデルを移行できるようにします。

仕組み

ハードウェアアクセラレータ、グラフ最適化、および変換を活用して、最適なパフォーマンスを提供するためのアクセラレータとして機能します。ディープラーニングフレームワーク（PyTorch, TensorFlow/Keras）および古典的な機械学習ライブラリ（scikit-learn, LightGBM, XGBoost）からの幅広いモデルをサポートしています。

対象者

モデルをさまざまなプラットフォームにデプロイし、高速かつコスト効率の高いものにすることを必要とする開発者や機械学習エンジニア、およびマルチノードNVIDIA GPU上でtransformerモデルのトレーニングを加速させたいと考えている人々。

ハイライト

• クロスプラットフォームサポート: 異なるハードウェア、ドライバ、およびオペレーティングシステムにわたって動作します。
• 幅広いフレームワーク互換性: PyTorch, TensorFlow/Keras, scikit-learn, LightGBM, および XGBoostからのモデルをサポートしています。
• 推論の加速: ハードウェアアクセラレーションとグラフ最適化を通じて、より高速なユーザー体験と低コスト化を実現します。
• トレーニングの加速: PyTorchスクリプトへの最小限のコード変更で、マルチノードNVIDIA GPU上でのtransformerモデルのトレーニング時間を加速させます。