pykeio/ort

Fast ML inference & training for ONNX models in Rust

它解决了什么问题

ort 提供了一个高性能的 Rust 接口，用于运行 ONNX 格式的机器学习模型。它解决了将使用各种框架（如 PyTorch、TensorFlow 或 scikit-learn）训练的模型部署到生产环境——无论是设备端还是数据中心——而不需要原始训练框架的庞大运行时的问题。

它的工作原理

它主要作为 Microsoft 的 ONNX Runtime 库的包装，使 Rust 开发者能够在广泛的硬件加速器上利用硬件加速。它也支持其他纯 Rust 的运行时作为后端。

目标对象

需要在应用程序中集成机器学习模型推理与训练的 Rust 开发者，特别是针对高性能、设备端或跨平台部署的开发者。

亮点

  • 广泛的框架支持：支持从 PyTorch、TensorFlow、Keras、scikit-learn 与 PaddlePaddle 导出的模型。
  • 硬件加速：通过 ONNX Runtime 兼容几乎所有硬件加速器。
  • 轻量化：设计上足够高效，可部署于终端用户设备。
  • 广泛采用：被如 Hugging Face 的 Text Embeddings Inference (TEI) 与 Google 的 Magika 等项目使用。