onnxruntime: 一个用于机器学习模型的跨平台推理和训练加速器

它解决了什么问题

ONNX Runtime 为运行（推理）和训练机器学习模型提供了一个高性能、跨平台的引擎。它解决了不同硬件、驱动程序和操作系统之间的模型可移植性和性能优化问题，允许开发者高效地将模型从 PyTorch 或 TensorFlow 等训练框架迁移到生产环境。

工作原理

它作为一个加速器，利用硬件加速器、图优化和转换来提供最佳性能。它支持来自深度学习框架（PyTorch, TensorFlow/Keras）和经典机器学习库（scikit-learn, LightGBM, XGBoost）的广泛模型。

适用人群

需要在各种平台上部署模型并确保其快速且具有成本效益的开发者和机器学习工程师，以及那些寻求在多节点 NVIDIA GPU 上加速 transformer 模型训练的人员。

亮点

• 跨平台支持：可在不同的硬件、驱动程序和操作系统上运行。
• 广泛的框架兼容性：支持来自 PyTorch, TensorFlow/Keras, scikit-learn, LightGBM, 和 XGBoost 的模型。
• 推理加速：通过硬件加速和图优化实现更快的用户体验和更低的成本。
• 训练加速：通过对 PyTorch 脚本进行极小的代码更改，加速 transformer 模型在多节点 NVIDIA GPU 上的训练时间。