pykeio/ort

它解決了什麼問題

ort 提供了一個高性能的 Rust 界面，用於在 ONNX 格式中執行機器學習模型。它簡化了將使用 PyTorch、TensorFlow、Keras、scikit-learn 或 PaddlePaddle 等框架訓練的模型，部署到設備端環境或資料中心的流程。

它如何運作

它主要作為 Microsoft 的 ONNX Runtime 庫的封裝程式，讓 Rust 開發者能夠利用多種不同加速器的硬體加速功能。同時也支援其他純 Rust 的執行時作為後端。

適用對象

需要在不同平台（從邊緣裝置到伺服器）上對 ONNX 模型進行硬體加速推論與訓練的 Rust 開發者。

主要特色

• 廣泛的框架支援：支援來自 PyTorch、TensorFlow、Keras、scikit-learn 和 PaddlePaddle 的模型。
• 硬體加速：透過 ONNX Runtime 與幾乎任何硬體加速器相容。
• 多元化的部署方式：輕量級適合設備端使用，同時也足夠強大以支援資料中心部署。
• 廣泛採用：被 Hugging Face 的 Text Embeddings Inference (TEI) 和 Google 的 Magika 等專案所使用。

這是一個極其有用的工具，特別是在需要跨平台高效能推理的場景下。— @handle