Arm Neural Super Sampling (NSS) 릴리스

고해상도 렌더링 및 GPU 부하 감소

Neural Super Sampling (NSS)은 저해상도 시계열 입력으로부터 고품질 출력 프레임을 재구성함으로써 GPU의 계산 부담을 줄입니다. 시연된 "Enchanted Castle" 데모에서 NSS는 GPU 작업량을 50% 감소시켰으며, 540p로 렌더링하고 1080p로 업스케일링하면서 지속적인 성능 설정에서 4ms의 지연 시간을 보였습니다.

기술 아키텍처 및 최적화

NSS는 실시간 시계열 슈퍼 샘플링을 위한 파라미터 예측 모델입니다. 모바일 GPU 내 Neural Accelerators(NX)에서 실행되도록 특별히 최적화되었으며, Arm Neural Technology를 활용해 향후 모바일 하드웨어에서 실시간 성능을 달성합니다.

학습 데이터 및 모델 개발

NSS 개발을 지원하기 위해 Arm은 Neural Graphics Dataset을 제공했습니다. 이 데이터셋은 참조 이미지, 이미지 시퀀스, 그리고 관련된 움직임 및 깊이 데이터를 포함합니다. 현재 데이터셋은 모델 개발 흐름을 시연하기 위한 제한된 세트이지만, Arm은 Neural Graphics Model Gym을 통해 도구를 출시하여 개발자가 전체 모델 학습 및 재학습을 위한 콘텐츠를 캡처하고 변환할 수 있도록 할 계획입니다.

통합 및 개발자 도구

NSS는 Unreal Engine과의 통합을 통해 두 개의 특정 플러그인으로 실험할 수 있습니다:

• NSS Plugin for Unreal Engine: NSS 통합을 위한 전용 플러그인.
• Unreal NNE Plugin for ML extensions for Vulkan: Vulkan용 ML 확장을 지원합니다.

개발자는 Hugging Face에서 NSS 모델에 접근하고, Arm이 제공하는 Vulkan ML 샘플 및 Unreal Engine 통합을 위한 빠른 시작 가이드를 활용할 수 있습니다.