microsoft/onnxruntime-extensions

해결하는 문제

일반적인 전처리 및 후처리 단계를 ONNX 모델에 직접 포함하는 방법을 제공하여, 다양한 플랫폼의 서로 다른 언어에서 별도의 수동 처리 코드를 작성해야 하는 필요성을 줄여줍니다.

작동 방식

이 라이브러리는 Custom Operator ABIs를 통해 ONNX Runtime용 커스텀 연산자 세트를 구현합니다. 사용자는 Huggingface transformer 데이터 처리 클래스를 ONNX 처리 그래프로 변환할 수 있으며, 이를 메인 모델과 병합하여 통합된 추론 세션을 생성할 수 있습니다.

대상 사용자

다양한 플랫폼(Windows, Linux, macOS, Android, iOS, Web-Assembly) 및 언어(Python, Java, C#, C++)에서 모델 추론을 위해 ONNX Runtime를 사용하는 개발자.

주요 특징

• 비전, 텍스트 및 NLP 모델을 위한 커스텀 연산자
• Python, Java, C#, C++를 포함한 다양한 언어 지원
• Huggingface transformer 클래스에서 처리 모델을 생성하는 기능
• 모바일 및 Web-Assembly를 포함한 크로스 플랫폼 호환성