pykeio/ort

它解决了什么问题

ort 为在 ONNX 格式中运行机器学习模型提供了一个高性能的 Rust 接口。它简化了将使用 PyTorch、TensorFlow、Keras、scikit-learn 或 PaddlePaddle 等框架训练的模型部署到设备端环境或数据中心的过程。

它如何工作

它主要作为 Microsoft 的 ONNX Runtime 库的包装器，使 Rust 开发者能够利用各种加速器上的硬件加速。它还支持其他纯 Rust 运行时作为后端。

适用于谁

需要在不同平台（从边缘设备到服务器）上对 ONNX 模型执行硬件加速推理和训练的 Rust 开发者。

主要特点

• 广泛的框架支持：支持来自 PyTorch、TensorFlow、Keras、scikit-learn 和 PaddlePaddle 的模型。
• 硬件加速：通过 ONNX Runtime 与几乎任何硬件加速器兼容。
• 灵活的部署：轻量级，适合设备端使用，同时具备足够的性能以支持数据中心部署。
• 广泛采用：被 Hugging Face 的 Text Embeddings Inference (TEI) 和 Google 的 Magika 等项目使用。

一个用于在各种硬件和框架上部署 ONNX 模型的高效接口 — @username