ort：用於硬體加速 ONNX 模型推論與訓練的 Rust 介面

它解決了什麼問題

ort 提供高效能的 Rust 介面，用於執行 ONNX 格式的機器學習模型。它簡化了在 PyTorch、TensorFlow、Keras、scikit-learn 與 PaddlePaddle 等框架中建立的模型的部署，讓這些模型能在各種硬體加速器上高效執行，適用於從資料中心到終端使用者裝置的不同環境。

它如何運作

它是 Microsoft 的 ONNX Runtime 函式庫的包裝器，同時也支援其他純 Rust 的執行環境。這讓 Rust 開發者能在不需要撰寫複雜底層綁定的情況下，利用硬體加速進行 ONNX 模型的推論與訓練。

目標對象

需要在裝置端或雲端以高效能與硬體加速部署機器學習模型的 Rust 開發者。

重點特色

• 廣泛的框架支援：支援來自 PyTorch、TensorFlow、Keras、scikit-learn 與 PaddlePaddle 的模型。
• 硬體加速：透過 ONNX Runtime 相容於幾乎所有硬體加速器。
• 多樣化部署：足夠輕量可用於裝置端，同時也具備在資料中心部署的強大效能。
• 廣泛採用：被 Hugging Face 的 Text Embeddings Inference（TEI）與 Google 的 Magika 等專案使用。