microsoft/onnxruntime-extensions

解决的问题

它提供了一种将常见的预处理和后处理步骤直接包含在 ONNX 模型中的方法，从而减少了在不同平台的不同语言中编写单独的手动处理代码的需求。

工作原理

该库通过 Custom Operator ABIs 为 ONNX Runtime 实现了一套自定义算子。它允许用户将 Huggingface transformer 数据处理类转换为 ONNX 处理图，然后可以将其与主模型合并，实现统一的推理会话。

适用对象

在各种平台（Windows、Linux、macOS、Android、iOS 和 Web-Assembly）和语言（Python、Java、C#、C++）中使用 ONNX Runtime 进行模型推理的开发人员。

亮点

• 用于视觉、文本和 NLP 模型的自定义算子。
• 支持包括 Python、Java、C# 和 C++ 在内的多种语言。
• 能够从 Huggingface transformer 类生成处理模型。
• 包括移动端和 Web-Assembly 在内的跨平台兼容性。