AmusementClub/vs-mlrt

해결하는 문제

VapourSynth ML 필터를 위한 고성능 AI 추론 런타임 세트를 제공하여, 사용자가 Intel, NVIDIA, AMD의 x86 CPU 및 GPU는 물론 Apple SoC를 포함한 다양한 하드웨어 플랫폼에서 AI 기반 비디오 처리 필터를 실행할 수 있도록 합니다.

작동 방식

이 프로젝트는 여러 전문 추론 백엔드를 VapourSynth 플러그인으로 번들로 제공합니다. 업계 표준 런타임을 활용하여 특정 하드웨어에 대한 성능을 최적화합니다:

• OpenVINO: Intel CPU 및 GPU에 최적화되어 있습니다.
• ONNX Runtime: 일반적인 CPU 및 CUDA GPU 지원을 제공하며, Apple SoC를 위한 CoreML도 포함됩니다.
• TensorRT/TensorRT-RTX: 하드웨어별 벤치마킹을 사용하여 NVIDIA GPU에 고도로 최적화되어 있습니다.
• MIGraphX: AMD GPU에 최적화되어 있습니다.
• ncnn: Vulkan API를 사용하여 경량 크로스 벤더 GPU 런타임(NVIDIA, AMD, Intel)을 제공합니다.

사용자 경험을 단순화하기 위해, 이러한 다양한 백엔드를 선택하고 번들 모델을 관리할 수 있는 통합 인터페이스를 제공하는 Python 래퍼(vsmlrt.py)가 포함되어 있습니다.

대상 사용자

자신의 특정 하드웨어에서 가능한 최고의 성능으로 비디오 콘텐츠에 AI 필터를 적용하고자 하는 VapourSynth 사용자 및 비디오 처리 애호가 및 개발자.