Merserk/dlss5-visual-enhancer

해결하는 문제

이 프로젝트는 NVIDIA의 DLSS 5 신경망 렌더링 및 DLSS 프레임 생성을 정적 이미지와 기존 비디오 파일에 적용하는 방법을 제공합니다. 원래 이러한 기술로 실시간 렌더링되지 않은 미디어의 시각적 품질을 향상시키고, 해상도를 업스케일링하며, 프레임 속도를 높이는(보간) 것을 가능하게 합니다.

작동 방식

이 애플리케이션은 Gradio 기반의 로컬 인터페이스를 갖춘 휴대용 Windows 도구로 실행됩니다. NVIDIA RTX GPU(Ampere, Ada 및 Blackwell 아키텍처)를 활용하여 이미지 및 비디오용 "feature-18" 신경망 렌더링 파이프라인을 실행하고, 비디오 프레임 보간을 위해 DLSS 프레임 생성을 활용합니다. 비디오 인코딩/디코딩을 위해 FFmpeg와 통합되며, 다양한 이미지 형식(RAW 및 HEIF 포함)과 비디오 코덱(H.264, H.265, AV1 및 ProRes Proxy)을 지원합니다.

대상 사용자

라이브 게임 환경 외부에서 DLSS 5의 신경망 기능을 사용하여 비디오 및 이미지 콘텐츠를 업스케일링하거나 부드럽게 만들고자 하는 콘텐츠 제작자 및 NVIDIA RTX GPU 소유자.

주요 특징

• 신경망 렌더링: DLAA(1x)부터 울트라 퍼포먼스(3x)까지 다양한 업스케일링 모드를 지원하며, 스타일, 강도 및 구조에 대한 조정 가능한 신경망 설정을 제공합니다.
• 프레임 보간: Ada 및 Blackwell GPU에서 DLSS 프레임 생성을 사용하여 비디오 프레임 속도를 최대 120 FPS까지 높일 수 있습니다.
• 폭넓은 형식 지원: 수많은 이미지 형식(카메라 RAW 포함) 및 비디오 컨테이너(MP4, MKV, MOV)를 처리합니다.
• 하드웨어 가속: AI 처리와 비디오 인코딩(NVIDIA NVENC 통해)을 위한 별도의 GPU 선택 기능.
• HDR 지원: HDR 색상 공간을 보존하기 위한 H.265, AV1 및 ProRes Proxy의 옵트인 10비트 출력.