NVIDIA/TensorRT

解決する課題

TensorRTはAI推論ワークフローを加速するように設計されており、開発者がNVIDIA GPU上での高性能なデプロイに向けてディープラーニングモデルを最適化することを可能にします。

仕組み

ONNX、Torch-TensorRT、HuggingFace/Optimum、およびNetwork Definition APIを含むさまざまなパスを介してモデルをインポートし、それらを推論用に最適化するためのプラットフォームを提供します。このプロジェクトのオープンソースコンポーネントには、ONNXパーサー、TensorRTプラグイン、およびプラットフォームの機能を実演するサンプルアプリケーションが含まれます。

対象者

x86_64およびaarch64 (Jetson/DriveOS) プラットフォームを含むNVIDIAハードウェア上で、さまざまなモダリティ（LLM、ビジョン、オーディオ、拡散モデル、マルチモーダル）にわたる高性能なディープラーニングモデルをデプロイする必要があるAI開発者およびエンジニア。