triton-inference-server/server

The Triton Inference Server provides an optimized cloud and edge inferencing solution.

What it solves

Triton Inference Server は、さまざまなハードウェアプラットフォーム（クラウド、データセンター、エッジ、組み込みデバイス）およびフレームワークにわたってモデルを提供する標準化された方法を提供することで、AI モデルのデプロイを簡素化します。これにより、プロダクション環境で異なるモデルタイプやフレームワークごとにカスタムサービングインフラを構築する必要がなくなります。

How it works

Triton はサービングレイヤーとして機能し、TensorRT、PyTorch、ONNX、OpenVINO、Python など複数のバックエンドをサポートします。ユーザーはモデルをモデルリポジトリに配置し、最適化パフォーマンスのために設定するだけです。HTTP/REST と gRPC プロトコルを提供し、クライアントは推論リクエストを送信して応答を受け取れます。また、C および Java API を通じてアプリケーションに直接組み込むことも可能です。

Who it’s for

スケールで本番レベルの AI モデルをデプロイする必要がある AI チームや開発者向けに設計されており、NVIDIA GPU、x86/ARM CPU、AWS Inferentia など幅広いハードウェアと複数のディープラーニングフレームワークをサポートします。

Highlights

  • Multi-framework support: Serves models from TensorRT, PyTorch, ONNX, OpenVINO, Python, and RAPIDS FIL.
  • Optimized performance: Features dynamic batching, sequence batching, and concurrent model execution to maximize throughput and minimize latency.
  • Flexible deployment: Supports cloud, data center, edge, and embedded devices.
  • Extensible architecture: Provides a Backend API for adding custom backends and pre/post processing operations.
  • Model pipelining: Enables complex workflows using Ensembling or Business Logic Scripting (BLS).
  • Integrated metrics: Provides built-in metrics for GPU utilization, server throughput, and latency.