server: 一个简化跨多种框架和硬件平台 AI 模型部署的开源推理服务器

它解决了什么问题

Triton Inference Server 通过提供一种标准化的方式，在各种硬件平台（云、数据中心、边缘和嵌入式设备）和框架上提供模型服务，从而简化了 AI 模型的部署。它消除了为生产环境中使用的每种不同模型类型或框架编写自定义服务基础设施的需求。

它是如何工作的

Triton 作为一个支持多种后端（例如 TensorRT, PyTorch, ONNX, OpenVINO, 和 Python）的服务层。它允许用户将模型放入模型仓库中，并配置它们以实现优化性能。它为客户端提供 HTTP/REST 和 gRPC 协议，以便发送推理请求并接收响应，并且可以通过 C 和 Java APIs 直接链接到应用程序中，用于进程内使用场景。

它是为谁设计的

它是为需要大规模部署生产级 AI 模型的 AI 团队和开发者设计的，支持广泛的硬件（NVIDIA GPUs, x86/ARM CPUs, AWS Inferentia）和多种深度学习框架。

亮点

• 多框架支持：支持来自 TensorRT, PyTorch, ONNX, OpenVINO, Python, 和 RAPIDS FIL 的模型服务。
• 优化性能：具有动态批处理 (dynamic batching)、序列批处理 (sequence batching) 和并发模型执行功能，以最大化吞吐量并最小化延迟。
• 灵活部署：支持云、数据中心、边缘和嵌入式设备。
• 可扩展架构：提供 Backend API 用于添加自定义后端和预处理/后处理操作。
• 模型流水线：通过 Ensembling 或 Business Logic Scripting (BLS) 实现复杂的流水线工作流。
• 集成指标：提供内置的 GPU 利用率、服务器吞吐量和延迟指标。