robertknight/rten

What it solves

RTen은 개발자가 Python(PyTorch와 같은 프레임워크 사용)에서 훈련된 모델을 Rust 애플리케이션 내에서 직접 실행할 수 있도록 설계된 머신러닝 런타임입니다. 런타임 시 Python 환경이 필요하지 않으므로, 모델 추론을 위한 작고 효율적이며 엔드투엔드(end-to-end) Rust 구현체를 제공합니다.

How it works

RTen은 표준 ONNX 형식 또는 더 빠른 로딩과 매우 큰 모델을 지원하기 위한 커스텀 .rten 형식을 로드합니다. SIMD (AVX2, AVX-512, Arm Neon, 및 WebAssembly SIMD)와 멀티스레딩을 활용하여 CPU 기반 추론을을 수행하며 성능을 최적화합니다. 또한 모델을 통과하기 전후의 데이터 전처리 및 후처리를 처리하기 위한 지원 라이브러리를 제공합니다.

Who it’s for

Rust 환경에 ML 모델을 배포포하고 싶거나, JavaScript 애플리케이션에서 사용하기 위해 WebAssembly (Wasm)를 타겟으로 하는 개발자, 특히 무거운 외부 의존성 없이 가벼운 런타임을 찾는 개발者를 위해 구축되었습니다.

Highlights

• End-to-end Rust: 프로젝트 전체와 그 의외존재는 Rust로 작성되어 빌드와 배포를 단순화합니다.

• ONNX Support: 대부분의 표준 ONNX 연산자를 지원하며 float32 및 양자화(int8/uint8) 가중치를 지원합니다.

• Cross-Platform: SIMD 지원을 포함한 WebAssembly (Wasm)를 통한 브라우저 기반 추론을 포함하여 다양한 플랫폼에서 실행됩니다.

• Integrated Toolkit: 다양한 도메인에 걸친 일반적인 전처리 및 후처리 작업을 위한 라이브러리를 포함합니다.