pykeio/ort

해결 과제

Rust 개발자가 ONNX 형식의 머신러닝 모델을 하드웨어 가속을 통해 실행할 수 있는 방법을 제공합니다. 이를 통해 PyTorch, TensorFlow, Keras, scikit-learn 또는 PaddlePaddle과 같은 프레임워크에서 학습된 모델을 데이터 센터부터 최종 사용자 하드웨어에 이르기까지 다양한 장치에 효율적으로 배포할 수 있습니다.

작동 방식

ort는 Microsoft의 ONNX Runtime 라이브러리에 대한 Rust 인터페이스(래퍼) 역할을 하며, 다른 순수 Rust 런타임도 지원합니다. 거의 모든 사용 가능한 하드웨어 가속기에서 ONNX 모델을 실행할 수 있습니다.

대상 사용자

사전 학습된 머신러닝 모델을 장치 내(on-device) 또는 클라우드에서 높은 성능과 하드웨어 가속을 활용하여 배포해야 하는 Rust 개발자.

주요 특징

• 하드웨어 가속 추론 및 학습 지원
• ONNX Runtime을 통한 광범위한 하드웨어 가속기 지원
• PyTorch, TensorFlow, Keras, scikit-learn 및 PaddlePaddle 모델과의 호환성
• 장치 내 배포에 적합한 경량화 설계