ort: 하드웨어 가속 ONNX 모델 추론 및 학습을 위한 Rust 인터페이스

해결하는 문제

ort는 ONNX 형식의 머신러닝 모델을 실행하기 위한 고성능 Rust 인터페이스를 제공합니다. PyTorch, TensorFlow, Keras, scikit-learn, 그리고 PaddlePaddle과 같은 프레임워크에서 생성된 모델의 배포를 단순화하여, 데이터 센터부터 엔드 유저 디바이스에 이르기까지 다양한 환경의 다양한 하드웨어 가속기를 통해 효율적으로 실행할 수 있도록 합니다.

작동 방식

Microsoft의 ONNX Runtime 라이브러리를 위한 래퍼(wrapper) 역할을 수행하는 동시에, 다른 순수 Rust 런타임도 지원합니다. 이를 통해 Rust 개발자는 복잡한 저수준 바인딩을 작성할 필요 없이 ONNX 모델의 추론 및 학습 모두를 위해 하드웨어 가속을 활용할 수 있습니다.

대상 사용자

고성능 및 하드웨어 가속을 통해 온디바이스 또는 클라우드에 머신러닝 모델을 배포해야 하는 Rust 개발자.

주요 특징

• 광범위한 프레임워크 지원: PyTorch, TensorFlow, Keras, scikit-learn, 그리고 PaddlePaddle의 모델을 지원합니다.
• 하드웨어 가속: ONNX Runtime을 통해 거의 모든 하드웨어 가속기와 호환됩니다.
• 다양한 배포: 온디바이스 사용에 적합할 만큼 가볍지만, 데이터 센터 배포에 충분할 만큼 강력합니다.
• 광범위한 채택: Hugging Face의 Text Embeddings Inference (TEI) 및 Google의 Magika와 같은 프로젝트에서 사용됩니다.