pykeio/ort

What it solves

ort は、ONNX形式の機械学習モデルを実行するための高性能なRustインターフェースを提供します。PyTorch、TensorFlow、Keras、scikit-learn、または PaddlePaddle でトレーニング済みモデルを、デバイス上またはデータセンターへ展開することを簡細化します。

How it works

主に Microsoft の ONNX Runtime ライブラリのラッパーとして機能し、Rust開発者が様々なアクセラレータを利用してハードウェア加速を実現できるようにします。また、他の純Rustランタイムをバックエンドとしてサポートします。

Who it’s for

エッジデバイスからサーバーまで、異なるプラットフォーム上で ONNX モデルのハードウェア加速推論およびトレーニングを行う必要がある Rust 開発者。

Highlights

• Broad Framework Support: Supports models from PyTorch, TensorFlow, Keras, scikit-learn, and PaddlePaddle.
• Hardware Acceleration: Compatible with almost any hardware accelerator via ONNX Runtime.
• Versatile Deployment: Light enough for on-device use while remaining powerful enough for data center deployment.
• Wide Adoption: Used by projects like Hugging Face's Text Embeddings Inference (TEI) and Google's Magika.