triton-inference-server/server

何を解決するか

Triton Inference Server は、AIモデルのデプロイとサービングを簡素化します。複数のフレームワークやハードウェアターゲットを管理する複雑さを排除し、クラウドからエッジデバイスまで、さまざまな深層学習および機械学習フレームワークからAIモデルを迅速に展開できるようにします。

動作方法

Triton は、TensorRT、PyTorch、ONNX、OpenVINO、Python などの複数のバックエンドをサポートするサービングレイヤーです。ユーザーはモデルをモデルリポジトリに配置し、設定を行います。その後、Triton はクライアントが推論リクエストを送信できる標準化された HTTP/REST および gRPC プロトコルを提供します。同時に、並列モデル実行、動的バッチ処理、状態保持モデル向けのシーケンスバッチ処理などの機能により、パフォーマンスを最適化します。

対象ユーザー

NVIDIA GPU、x86/ARM CPU、AWS Inferentia など、多様なハードウェアとフレームワークを跨いでプロダクションレベルのAIモデルを展開する必要があるAIエンジニアおよびDevOpsチーム向けに設計されています。

主な特徴

• 複数フレームワーク対応: TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL からのモデルを提供可能。
• ハードウェアの柔軟性: NVIDIA GPU、x86 および ARM CPU、または AWS Inferentia で実行可能。
• パフォーマンス最適化: 動的バッチ処理、並列モデル実行、シーケンスバッチ処理を含む。
• 拡張性: カスタムバックエンド用の Backend API を提供し、Ensembling または Business Logic Scripting (BLS) を通じてモデルパイプラインをサポート。
• 標準化されたプロトコル: KServe プロトコルに基づく HTTP/REST および gRPC を使用。