microsoft/onnxruntime-extensions

解決する課題

ONNXモデルに一般的なプリプロセスおよびポストプロセス手順を直接組み込む方法を提供し、異なるプラットフォームの異なる言語で個別に手動処理コードを記述する必要性を減らします。

仕組み

このライブラリは、Custom Operator ABIsを介してONNX Runtime用のカスタムオペレータセットを実装します。これにより、ユーザーはHuggingface transformerのデータ処理クラスをONNX処理グラフに変換でき、それらをメインモデルと統合して単一の推論セッションとして実行できます。

対象ユーザー

さまざまなプラットフォーム（Windows、Linux、macOS、Android、iOS、Web-Assembly）および言語（Python、Java、C#、C++）でモデル推論にONNX Runtimeを使用する開発者。

ハイライト

• ビジョン、テキスト、NLPモデル向けのカスタムオペレータ
• Python、Java、C#、C++を含む複数の言語をサポート
• Huggingface transformerクラスから処理モデルを生成する機能
• モバイルおよびWeb-Assemblyを含むクロスプラットフォーム互換性