AmusementClub/vs-mlrt

解决的问题

它为 VapourSynth ML 滤镜提供了一套高性能的 AI 推理运行时，允许用户在包括 Intel、NVIDIA 和 AMD 的 x86 CPU 和 GPU 以及 Apple SoC 在内的多种硬件平台上运行基于 AI 的视频处理滤镜。

工作原理

该项目将多个专门的推理后端打包为 VapourSynth 插件。它利用行业标准的运行时来优化特定硬件的性能：

• OpenVINO: 针对 Intel CPU 和 GPU 进行了优化。
• ONNX Runtime: 提供通用的 CPU 和 CUDA GPU 支持，包括用于 Apple SoC 的 CoreML。
• TensorRT/TensorRT-RTX: 通过硬件特定基准测试，针对 NVIDIA GPU 进行了高度优化。
• MIGraphX: 针对 AMD GPU 进行了优化。
• ncnn: 使用 Vulkan API 提供轻量级的跨厂商 GPU 运行时（NVIDIA、AMD、Intel）。

为了简化用户体验，它包含一个 Python 封装器 (vsmlrt.py)，为选择这些不同的后端和管理捆绑模型提供统一的接口。

适用对象

使用 VapourSynth 的视频处理爱好者和开发人员，他们希望针对其特定硬件以最佳性能将 AI 滤镜应用于其视频内容。