AmusementClub/vs-mlrt

解決する課題

VapourSynth MLフィルタ向けの高パフォーマンスなAI推論ランタイムセットを提供します。これにより、ユーザーはIntel、NVIDIA、AMDのx86 CPUおよびGPU、さらにはApple SoCを含む幅広いハードウェアプラットフォームで、AIベースのビデオ処理フィルタを実行できます。

仕組み

このプロジェクトは、複数の特化した推論バックエンドをVapourSynthプラグインとしてパッケージ化しています。業界標準のランタイムを活用して、特定のハードウェアに対してパフォーマンスを最適化します：

• OpenVINO: Intel CPUおよびGPU向けに最適化されています。
• ONNX Runtime: 一般的なCPUおよびCUDA GPUのサポートを提供し、Apple SoC用のCoreMLも含まれます。
• TensorRT/TensorRT-RTX: ハードウェア固有のベンチマークを使用して、NVIDIA GPU向けに高度に最適化されています。
• MIGraphX: AMD GPU向けに最適化されています。
• ncnn: Vulkan APIを使用して、軽量なクロスベンダーGPUランタイム（NVIDIA、AMD、Intel）を提供します。

ユーザー体験を簡素化するために、これらの異なるバックエンドの選択とバンドルされたモデルの管理のための統一インターフェースを提供するPythonラッパー（vsmlrt.py）が含まれています。

対象者

特定のハードウェアで最高のパフォーマンスを実現しながら、ビデオコンテンツにAIフィルタを適用したいと考えている、VapourSynthを使用するビデオ処理愛好家および開発者。