microsoft/onnxruntime

ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

它解決的問題

它提供了一個跨平台的機器學習加速器，解決了在不同硬體和軟體環境下推理和訓練速度慢的問題。它允許來自各種框架（如 PyTorch、TensorFlow 和 scikit-learn）的模型在多樣化的硬體加速器上高效運行。

它是如何運作的

ONNX Runtime 利用圖形優化和變換來提供最佳性能。它與不同的硬體、驅動程式和作業系統相容，使其能夠作為推理和訓練的高效能引擎。

它適合誰

它專為需要將不同框架的機器學習模型部署到高性能且低成本的生產環境中的開發人員和資料科學家設計。

亮點

  • 推理和訓練的跨平台支援。
  • 支援來自 PyTorch、TensorFlow/Keras、scikit-learn、LightGBM 和 XGBoost 的模型。
  • 在多節點 NVIDIA GPU 上加速 transformer 模型的訓練。
  • 透過硬體加速器和圖形變換來優化性能。