ort：用于硬件加速 ONNX 模型推理和训练的 Rust 接口

它解决了什么问题

ort 提供了一个高性能的 Rust 接口，用于运行 ONNX 格式的机器学习模型。它简化了在 PyTorch、TensorFlow、Keras、scikit-learn 和 PaddlePaddle 等框架中创建的模型的部署，使这些模型能够在各种硬件加速器上高效执行，适用于从数据中心到终端用户设备的不同环境。

工作原理

它充当 Microsoft 的 ONNX Runtime 库的包装器，同时也支持其他纯 Rust 运行时。这使得 Rust 开发者能够利用硬件加速来进行 ONNX 模型的推理和训练，而无需编写复杂的底层绑定代码。

适用人群

需要在设备端或云端以高性能和硬件加速方式部署机器学习模型的 Rust 开发者。

亮点

• 广泛的框架支持：支持来自 PyTorch、TensorFlow、Keras、scikit-learn 和 PaddlePaddle 的模型。
• 硬件加速：通过 ONNX Runtime 与几乎所有硬件加速器兼容。
• 多样化部署：轻量到足以在设备端使用，又足够强大可用于数据中心部署。
• 广泛采用：被 Hugging Face 的 Text Embeddings Inference（TEI）和 Google 的 Magika 等项目使用。