pykeio/ort

해결하는 문제

ort는 ONNX 형식의 머신러닝 모델을 실행하기 위한 고성능 루스트 인터페이스를 제공합니다. 파이토치, 텐서플로우, 케라스, 사이킷런, 패들패들 등 다양한 프레임워크에서 훈련된 모델을 디바이스 내부 환경 또는 데이터 센터로 배포하는 과정을 간소화합니다.

작동 방식

주로 마이크로소프트의 ONNX 런타임 라이브러리에 대한 래퍼 역할을 하며, 루스트 개발자가 다양한 가속기에서 하드웨어 가속을 활용할 수 있도록 합니다. 또한 순수 루스트 런타임을 백엔드로 지원합니다.

대상 사용자

엣지 디바이스에서 서버에 이르기까지 다양한 플랫폼에서 ONNX 모델에 대한 하드웨어 가속 추론 및 훈련이 필요한 루스트 개발자들입니다.

주요 특징

• 광범위한 프레임워크 지원: 파이토치, 텐서플로우, 케라스, 사이킷런, 패들패들 모델을 지원합니다.
• 하드웨어 가속: ONNX 런타임을 통해 거의 모든 하드웨어 가속기와 호환됩니다.
• 다양한 배포 가능성: 디바이스 내부 사용에 적합한 가벼운 크기이면서도 데이터 센터 배포에 충분한 성능을 제공합니다.
• 광범위한 채택: 허깅페이스의 텍스트 임베딩 인퍼런스(TEI) 및 구글의 마지카와 같은 프로젝트에서 사용되고 있습니다.

"ONNX 런타임을 루스트에서 사용할 수 있게 해주는 훌륭한 인터페이스입니다." — @username