triton-inference-server/server

해결하는 문제

Triton Inference Server는 AI 모델의 배포 및 서비스를 간소화합니다. 다양한 프레임워크와 하드웨어 타겟을 관리하는 복잡성을 제거하여, 클라우드에서 에지 디바이스에 이르기까지 다양한 딥러닝 및 머신러닝 프레임워크에서 AI 모델을 쉽게 배포할 수 있도록 합니다.

작동 방식

Triton은 TensorRT, PyTorch, ONNX, OpenVINO, Python 등의 여러 백엔드를 지원하는 서빙 레이어입니다. 사용자는 모델을 모델 리포지토리에 배치하고 설정을 구성합니다. 이후 Triton은 클라이언트가 추론 요청을 전송할 수 있도록 표준화된 HTTP/REST 및 gRPC 프로토콜을 제공합니다. 동시 모델 실행, 동적 배치, 상태 기반 모델을 위한 시퀀스 배치와 같은 기능을 통해 성능을 최적화합니다.

대상 사용자

NVIDIA GPU, x86/ARM CPU, AWS Inferentia 등 다양한 하드웨어와 다양한 프레임워크에서 프로덕션 수준의 AI 모델을 배포해야 하는 AI 엔지니어 및 DevOps 팀을 위한 것입니다.

주요 특징

• 다중 프레임워크 지원: TensorRT, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL에서 모델을 제공합니다.
• 하드웨어 유연성: NVIDIA GPU, x86 및 ARM CPU, 또는 AWS Inferentia에서 실행 가능합니다.
• 성능 최적화: 동적 배치, 동시 모델 실행, 시퀀스 배치 기능을 포함합니다.
• 확장성: 사용자 정의 백엔드를 위한 Backend API 제공 및 Ensembling 또는 비즈니스 로직 스크립팅(BLS)을 통한 모델 파이프라인 지원.
• 표준 프로토콜: KServe 프로토콜 기반의 HTTP/REST 및 gRPC 사용.