pykeio/ort

解决的问题

它为 Rust 开发者提供了一种运行 ONNX 格式机器学习模型并进行硬件加速的方法。这使得在 PyTorch、TensorFlow、Keras、scikit-learn 或 PaddlePaddle 等框架中训练的模型，能够高效地部署在从数据中心到终端用户硬件的各种设备上。

运作方式

ort 作为 Microsoft ONNX Runtime 库的 Rust 接口（封装器），同时也支持其他纯 Rust 运行环境。它几乎可以在任何可用的硬件加速器上执行 ONNX 模型。

适用对象

需要在设备端或云端部署预训练机器学习模型，并追求高性能与硬件加速的 Rust 开发者。

特点

• 硬件加速的推理与训练。
• 通过 ONNX Runtime 支持广泛的硬件加速器。
• 兼容于来自 PyTorch、TensorFlow、Keras、scikit-learn 与 PaddlePaddle 的模型。
• 轻量化，适合设备端部署。