robertknight/rten

What it solves

RTen は、開発者が Python (PyTorch などのフレームワークを使用) で訓練されたモデルを Rust アプリケーション内で直接実行できるように設計された機械学習ランタイムです。実行時に Python 環境を必要とせず、推論エンジンとして軽量、効率的、かつ end-to-end で Rust 実装されています。

How it works

RTen は、標準的な ONNX 形式または高速なロードと巨大なモデルのサポートのためのカスタム .rten 形式でモデルをロードします。SIMD (AVX2, AVX-512, Arm Neon, および WebAssembly SIMD) とマルチスレッドを利用して CPU ベースの推論を実行し、パフォーマンスを最適化します。また、モデルに入力する前後のデータのプリプロセスとポストプロセスを処理するためのサポートライブラリも提供します。

Who it’s for

Rust 環境に ML モデルをデプロイしたい開発者、または JavaScript アプリケーションで使用するために WebAssembly (Wasm) をターゲットにしたい開発者、特に軽量なランタイムを求め、重い外部依存関係がないことを求める開発者向けに構築されています。

Highlights

• End-to-end Rust: プロジェクト全体とその依存関係は Rust で記述されており、ビルドとデプロイメントを簡つの化します。

• ONNX Support: ほとんどの標準的な ONNX オペレーターに互換性があり、float32 および量子化 (int8/uint8) 重みをサポートします。

• Cross-Platform: WebAssembly (Wasm) で SIMD サポートを利用したブラウザベースの推論を含む、さまざまなプラットフォーム上で動作します。

• Integrated Toolkit: さまざまなドメインにおける一般的なプリプロセスおよびポストプロセス・タスクのためのライブラリが含まれています。