Merserk/dlss5-visual-enhancer

何を解決するか

このプロジェクトは、NVIDIAのDLSS 5 Neural RenderingおよびDLSS Frame Generationを静止画や既存のビデオファイルに適用する方法を提供します。これにより、元々これらの技術を用いてリアルタイムでレンダリングされていなかったメディアの視覚的品質を向上させ、解像度をアップスケールし、フレームレートを向上（補間）させることが可能になります。

仕組み

このアプリケーションは、Gradioベースのローカルインターフェースを備えたポータブルなWindowsツールとして動作します。NVIDIA RTX GPU（Ampere、Ada、およびBlackwellアーキテクチャ）を活用して、画像およびビデオに対して"feature-18"ニューラルレンダリングパイプラインを実行し、ビデオフレームの補間にはDLSS Frame Generationを利用します。ビデオのエンコード/デコードにはFFmpegと統合されており、幅広い画像形式（RAWやHEIFを含む）およびビデオコーデック（H.264、H.265、AV1、およびProRes Proxy）をサポートしています。

対象ユーザー

ライブゲーム環境以外で、DLSS 5のニューラル機能を使用してビデオや画像コンテンツをアップスケールしたり、滑らかにしたりしたいコンテンツクリエイターおよびNVIDIA RTX GPUの所有者。

ハイライト

• Neural Rendering: DLAA (1x) から Ultra Performance (3x) までの様々なアップスケーリングモード、およびスタイル、強度、構造を調整可能なニューラル設定をサポートしています。
• Frame Interpolation: AdaおよびBlackwell GPUを使用して、DLSS Frame Generationによりビデオフレームレートを最大120 FPSまで向上させることができます。
• 幅広い形式のサポート: 数多くの画像形式（カメラのRAWを含む）およびビデオコンテナ（MP4、MKV、MOV）を扱います。
• Hardware Acceleration: AI処理とビデオエンコード（NVIDIA NVENC経由）のための個別のGPU選択が可能です。
• HDR Support: HDRカラースペースを維持するために、H.265、AV1、およびProRes Proxy向けのオプションの10ビット出力をサポートしています。