pykeio/ort
Fast ML inference & training for ONNX models in Rust
해결하는 문제
ort는 ONNX 형식의 머신러닝 모델을 실행하기 위한 고성능 Rust 인터페이스를 제공합니다. PyTorch, TensorFlow, scikit-learn 등 다양한 프레임워크에서 학습된 모델을 원래 학습 프레임워크의 무거운 런타임 없이 장치 또는 데이터센터에서 프로덕션 환경에 배포하는 문제를 해결합니다.
작동 원리
주로 Microsoft의 ONNX Runtime 라이브러리의 래퍼 역할을 하여 Rust 개발자가 다양한 하드웨어 가속기에서 하드웨어 가속을 활용할 수 있게 합니다. 또한 다른 순수 Rust 런타임을 백엔드로 지원합니다.
대상
애플리케이션에 머신러닝 모델 추론 및 학습을 통합해야 하는 Rust 개발자, 특히 고성능, 장치 내, 혹은 크로스 플랫폼 배포를 목표로 하는 개발자에게 적합합니다.
주요 특징
- 광범위한 프레임워크 지원: PyTorch, TensorFlow, Keras, scikit-learn 및 PaddlePaddle에서 내보낸 모델을 지원합니다.
- 하드웨어 가속: ONNX Runtime을 통해 거의 모든 하드웨어 가속기와 호환됩니다.
- 경량: 최종 사용자 디바이스에 배포하기에 충분히 효율적으로 설계되었습니다.
- 광범위한 채택: Hugging Face의 Text Embeddings Inference (TEI)와 Google의 Magika와 같은 프로젝트에서 사용됩니다.