pykeio/ort

Fast ML inference & training for ONNX models in Rust

它解決了什麼問題

ort 提供了一個高效能的 Rust 介面，用於執行 ONNX 格式的機器學習模型。它解決了將在各種框架（如 PyTorch、TensorFlow 或 scikit-learn）中訓練的模型部署到生產環境——無論是設備端還是資料中心——而不需要原始訓練框架的龐大執行時的問題。

它的工作原理

它主要作為 Microsoft 的 ONNX Runtime 庫的封裝，使 Rust 開發者能夠在廣泛的硬體加速器上利用硬體加速。它也支援其他純 Rust 的執行時作為後端。

目標對象

需要在應用程式中整合機器學習模型推論與訓練的 Rust 開發者，特別是針對高效能、設備端或跨平台部署的開發者。

重點特色

  • 廣泛的框架支援：支援從 PyTorch、TensorFlow、Keras、scikit-learn 與 PaddlePaddle 匯出的模型。
  • 硬體加速：透過 ONNX Runtime 相容於幾乎所有硬體加速器。
  • 輕量化：設計上足夠高效，可部署於終端使用者設備。
  • 廣泛採用：被如 Hugging Face 的 Text Embeddings Inference (TEI) 與 Google 的 Magika 等專案使用。