microsoft/onnxruntime-extensions

解決的問題

它提供了一種將常見的預處理與後處理步驟直接包含在 ONNX 模型中的方法，從而減少了在不同平台的不同語言中編寫單獨手動處理程式碼的需求。

工作原理

該函式庫透過 Custom Operator ABIs 為 ONNX Runtime 實現了一套自定義算子。它允許使用者將 Huggingface transformer 資料處理類轉換為 ONNX 處理圖，然後可以將其與主模型合併，實現統一的推論工作階段。

適用對象

在各種平台（Windows、Linux、macOS、Android、iOS 和 Web-Assembly）及語言（Python、Java、C#、C++）中使用 ONNX Runtime 進行模型推論的開發人員。

亮點

• 用於視覺、文本和 NLP 模型的自定義算子。
• 支援包括 Python、Java、C# 和 C++ 在內的多種語言。
• 能夠從 Huggingface transformer 類別生成處理模型。
• 包括行動裝置和 Web-Assembly 在內的跨平台相容性。