triton-inference-server/server

解决的问题

Triton Inference Server 简化了 AI 模型的部署和推理服务。它消除了管理多个框架和硬件目标的复杂性，使团队能够将来自各种深度学习和机器学习框架的 AI 模型快速部署到从云到边缘设备的广泛硬件上。

工作原理

Triton 作为一个支持多种后端（如 TensorRT、PyTorch、ONNX、OpenVINO 和 Python）的推理层。用户将模型放入模型仓库并进行配置。Triton 随后为客户端提供标准化的 HTTP/REST 和 gRPC 协议以发送推理请求。它通过并发模型执行、动态批处理以及对有状态模型的序列批处理等功能优化性能。

适用人群

专为需要在多种硬件（NVIDIA GPU、x86/ARM CPU、AWS Inferentia）和多种框架之间部署生产级 AI 模型的 AI 工程师和 DevOps 团队设计。

主要亮点

• 多框架支持：支持来自 TensorRT、PyTorch、ONNX、OpenVINO、Python 和 RAPIDS FIL 的模型。
• 硬件灵活性：可在 NVIDIA GPU、x86 和 ARM CPU 或 AWS Inferentia 上运行。
• 性能优化：包含动态批处理、并发模型执行和序列批处理功能。
• 可扩展性：提供 Backend API 用于自定义后端，并通过 Ensembling 或业务逻辑脚本（BLS）支持模型流水线。
• 标准化协议：基于 KServe 协议使用 HTTP/REST 和 gRPC。