microsoft/onnxruntime

何が解決されるか

それは機械学習のためのクロスプラットフォームアクセラレータを提供し、異なるハードウェアとソフトウェア環境における推論とトレーニングの遅さという問題を解決します。これにより、PyTorch、TensorFlow、scikit-learn などのさまざまなフレームワークからのモデルが多様なハードウェアアクセラレータで効率的に実行できるようになります。

どうやって動作するか

ONNX Runtime はグラフの最適化と変換を活用して最適なパフォーマンスを提供します。異なるハードウェア、ドライバー、オペレーティングシステムと互換性があり、推論とトレーニングの両方のための高性能エンジンとして機能します。

誰のためのものか

異なるフレームワークからの機械学習モデルを高パフォーマンスかつ低コストの本番環境にデプロイする必要がある開発者とデータサイエンティストのために設計されています。

ハイライト

• 推論とトレーニングのクロスプラットフォームサポート。
• PyTorch、TensorFlow/Keras、scikit-learn、LightGBM、XGBoost からのモデルをサポート。
• マルチノード NVIDIA GPU 上でのトランスフォーマーモデルのトレーニングを加速。
• ハードウェアアクセラレータとグラフ変換を通じてパフォーマンスを最適化。