microsoft/onnxruntime

ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

它解决的问题

它提供了一个跨平台的机器学习加速器，解决了在不同硬件和软件环境下推理和训练速度慢的问题。它允许来自各种框架（如 PyTorch、TensorFlow 和 scikit-learn）的模型在多样化的硬件加速器上高效运行。

它是如何工作的

ONNX Runtime 利用图优化和变换来提供最佳性能。它与不同的硬件、驱动程序和操作系统兼容，使其能够作为推理和训练的高性能引擎。

它适合谁

它专为需要将不同框架的机器学习模型部署到高性能且低成本的生产环境中的开发人员和数据科学家设计。

亮点

  • 推理和训练的跨平台支持。
  • 支持来自 PyTorch、TensorFlow/Keras、scikit-learn、LightGBM 和 XGBoost 的模型。
  • 在多节点 NVIDIA GPU 上加速 transformer 模型的训练。
  • 通过硬件加速器和图变换来优化性能。