ort: ハードウェア加速された ONNX モデルの推論および学習のための Rust インターフェース

何を解決するか

ort は、ONNX 形式の機械学習モデルを実行するための高性能な Rust インターフェースを提供します。PyTorch、TensorFlow、Keras、scikit-learn、および PaddlePaddle のようなフレームワークで作成されたモデルのデプロイを簡素化し、データセンターからエンドユーザーのデバイスまで、さまざまな環境のさまざまなハードウェアアクセラレータ上で効率的に実行できるようにします。

仕組み

Microsoft の ONNX Runtime ライブラリのラッパーとして機能すると同時に、他の純粋な Rust ランタイムもサポートします。これにより、Rust 開発者は、複雑な低レベルのバインディングを記述することなく、ONNX モデルの推論と学習の両方でハードウェア加速を利用できます。

対象者

高いパフォーマンスとハードウェア加速を備えた機械学習モデルを、デバイス上またはクラウドにデプロイする必要がある Rust 開発者。

ハイライト

• 幅広いフレームワークのサポート: PyTorch、TensorFlow、Keras、scikit-learn、および PaddlePaddle のモデルをサポートします。
• ハードウェア加速: ONNX Runtime を介して、ほぼすべてのハードウェアアクセラレータと互換性があります。
• 多用途なデプロイ: デバイス上での使用に適した軽量さと、データセンターへのデプロイに適した強力な機能を兼ね備えています。
• 幅広い採用: Hugging Face の Text Embeddings Inference (TEI) や Google の Magika のようなプロジェクトで使用されています。