triton-inference-server/server

The Triton Inference Server provides an optimized cloud and edge inferencing solution.

What it solves

Triton Inference Server는 다양한 하드웨어 플랫폼(클라우드, 데이터 센터, 엣지 및 임베디드 디바이스)과 프레임워크에 걸쳐 모델을 제공하는 표준화된 방식을 제공함으로써 AI 모델 배포를 간소화합니다. 이를 통해 프로덕션 환경에서 서로 다른 모델 유형이나 프레임워크마다 맞춤형 서빙 인프라를 작성할 필요가 없어집니다.

How it works

Triton은 서빙 레이어로서 TensorRT, PyTorch, ONNX, OpenVINO, Python 등 여러 백엔드를 지원합니다. 사용자는 모델을 모델 저장소에 배치하고 최적화된 성능을 위해 구성하기만 하면 됩니다. HTTP/REST와 gRPC 프로토콜을 제공하여 클라이언트가 추론 요청을 보내고 응답을 받을 수 있으며, C와 Java API를 통해 애플리케이션에 직접 연결하여 인-프로세스 사용 사례에도 활용할 수 있습니다.

Who it’s for

대규모로 프로덕션 급 AI 모델을 배포해야 하는 AI 팀 및 개발자를 위해 설계되었으며, NVIDIA GPU, x86/ARM CPU, AWS Inferentia 등 다양한 하드웨어와 다수의 딥러닝 프레임워크를 지원합니다.

Highlights

  • Multi-framework support: Serves models from TensorRT, PyTorch, ONNX, OpenVINO, Python, and RAPIDS FIL.
  • Optimized performance: Features dynamic batching, sequence batching, and concurrent model execution to maximize throughput and minimize latency.
  • Flexible deployment: Supports cloud, data center, edge, and embedded devices.
  • Extensible architecture: Provides a Backend API for adding custom backends and pre/post processing operations.
  • Model pipelining: Enables complex workflows using Ensembling or Business Logic Scripting (BLS).
  • Integrated metrics: Provides built-in metrics for GPU utilization, server throughput, and latency.