robertknight/rten

What it solves

RTen 是一個機器學習運行時，旨在讓開發者直接在 Rust 應用程式中執行在 Python 中訓練的（使用 PyTorch 等框架）模型。它消除了運行時對 Python 環境的需求，為模型推理提供了一個小型、高效且端到端的 Rust 實作。

How it works

RTen 會載入標準 ONNX 格式或自定義的 .rten 格式，以實現更快的載入速度並支援非常大的模型。它執行基於 CPU 的推理，利用 SIMD (AVX2, AVX-512, Arm Neon, 和 WebAssembly SIMD) 和多執行緒來優化效能。它還提供支援函式庫，以處理數據在通過模型之前和之後的預處理和後處理。

Who it’s for

它是為想要在 Rust 環境中部署 ML 模型，或以 WebAssembly (Wasm) 為目標，以便在 JavaScript 應用程式中使用，特別是那些尋求輕量級運行時且沒有沉重的外部依賴的開發者而建。

Highlights

• End-to-end Rust: 整個專案及其依賴項都是用 Rust 編寫的，簡化了構建和部署。
• ONNX Support: 相容於大多數標準 ONNX 算子，並支援 float32 和量化 (int8/uint8) 權重。
• Cross-Platform: 可以在各種平台上運行，包括具有 SIMD 支援的 WebAssembly，用於基於瀏覽器的推理。
• Integrated Toolkit: 包含用於不同領域常見預處理和後處理任務的函式庫。