robertknight/rten

何を解決するか

RTen は、Python（PyTorch など）で訓練されたモデルを Rust アプリケーション内で実行できるように設計された機械学習ランタイムです。複雑な C++ 依存関係を排除し、エンドツーエンドの Rust 実装を提供することで、さまざまなプラットフォームでのビルドとデプロイを簡素化します。

動作方法

RTen は ONNX 形式をサポートしており、Python フレームワークからモデルをエクスポートして Rust 環境に読み込むことができます。SIMD（AVX2、AVX-512、Arm Neon、WebAssembly SIMD）を用いた CPU 基準の推論により、パフォーマンスを最適化します。エンジンは単精度浮動小数点（f32）と量子化された int8 重みをサポートし、f16 重みについては f32 へのアップコンバージョンにより部分的なサポートを提供します。

対象ユーザー

Rust アプリケーションに機械学習モデルを統合したい、または WebAssembly を介してモデルをウェブにデプロイしたい開発者。重い外部 C++ ランタイムに依存せずに済みます。

特徴

• デプロイを簡素化するエンドツーエンドの Rust 実装。
• 主な ONNX 演算子と一部の ONNX Runtime "contrib" 演算子をサポート。
• マルチスレッドと SIMD 加速を備えた CPU 基準の推論。
• WebAssembly に対する第一級のサポートにより、JavaScript アプリケーションで ML 推論が可能。
• 一般的な前処理および後処理タスクをサポートするライブラリを含む。