pykeio/ort
Fast ML inference & training for ONNX models in Rust
解決する課題
ort は ONNX 形式の機械学習モデルを実行するための高性能な Rust インターフェースを提供します。PyTorch、TensorFlow、scikit-learn など様々なフレームワークで学習されたモデルを、デバイス上またはデータセンターで、元の学習フレームワークの重いランタイムを必要とせずに本番環境へデプロイする問題を解決します。
仕組み
主に Microsoft の ONNX Runtime ライブラリのラッパーとして機能し、Rust 開発者が幅広いハードウェアアクセラレータ上でハードウェアアクセラレーションを活用できるようにします。また、他の純 Rust ランタイムをバックエンドとしてサポートします。
対象者
機械学習モデルの推論やトレーニングをアプリケーションに統合したい Rust 開発者、特に高性能・デバイス上・クロスプラットフォーム展開を目指す開発者向けです。
ハイライト
- 幅広いフレームワークのサポート：PyTorch、TensorFlow、Keras、scikit-learn、PaddlePaddle からエクスポートされたモデルをサポートします。
- ハードウェアアクセラレーション：ONNX Runtime を通じてほぼすべてのハードウェアアクセラレータに対応しています。
- 軽量：エンドユーザーのデバイスへのデプロイに十分な効率性を持つよう設計されています。
- 広範な採用：Hugging Face の Text Embeddings Inference (TEI) や Google の Magika などのプロジェクトで使用されています。