server: 一個簡化跨多種框架與硬體平台 AI 模型部署的開源推論伺服器

它解決了什麼問題

Triton Inference Server 透過提供一種標準化的方式，在各種硬體平台（雲端、資料中心、邊緣與嵌入式裝置）和框架上提供模型服務，從而簡化了 AI 模型的部署。它消除了為生產環境中使用的每一種不同模型類型或框架編寫自定義服務基礎設施的需求。

運作原理

Triton 作為一個支援多種後端（例如 TensorRT, PyTorch, ONNX, OpenVINO, 和 Python）的服務層。它允許使用者將模型放入模型儲存庫（model repository）中，並為其配置優化的效能。它為客戶端提供 HTTP/REST 和 gRPC 協定，以便發送推論請求並接收回應，並且可以透過 C 和 Java API 直接連結到應用程式中，以進行程序內（in-process）的使用案例。

目標對象

它是為需要大規模部署生產級 AI 模型、支援廣泛硬體（NVIDIA GPUs, x86/ARM CPUs, AWS Inferentia）以及多種深度學習框架的 AI 團隊和開發者而設計的。

重點功能

• 多框架支援：提供來自 TensorRT, PyTorch, ONNX, OpenVINO, Python, 和 RAPIDS FIL 的模型服務。
• 優化的效能：具備動態批次處理（dynamic batching）、序列批次處理（sequence batching）以及並行模型執行，以最大化吞吐量並最小化延遲。
• 彈性的部署：支援雲端、資料中心、邊緣與嵌入式裝置。
• 可擴展的架構：提供 Backend API 以用於新增自定義後端以及預處理/後處理操作。
• 模型流水線：透過 Ensembling 或 Business Logic Scripting (BLS) 實現複雜的工作流程。
• 整合的指標：提供內建的 GPU 利用率、伺服器吞吐量和延遲指標。