Arm 神经超采样 (NSS) 发布

Arm 已发布 Neural Super Sampling (NSS)，这是一种 AI 驱动的升采样解决方案，可在移动设备上以更低的计算成本实现高分辨率渲染。该技术旨在优化功耗受限环境中的性能，如移动游戏和扩展现实 (XR)。

降低 GPU 负载的高分辨率渲染

Neural Super Sampling (NSS) 通过从低分辨率的时间输入重建高质量输出帧，降低 GPU 的计算负担。在演示的 “Enchanted Castle” 示例中，NSS 将 GPU 工作负载降低了 50%，以 540p 渲染并升采样至 1080p，持续性能设置下的延迟为 4ms。

技术架构与优化

NSS 是一种用于实时时间超采样的参数预测模型。它专门针对移动 GPU 中的 Neural Accelerators (NX) 进行优化，利用 Arm Neural Technology 在未来的移动硬件上实现实时性能。

训练数据与模型开发

为支持 NSS 的开发，Arm 提供了 Neural Graphics Dataset，这是一套包含参考图像、图像序列以及相关运动和深度数据的集合。虽然当前数据集是一个有限的集合，旨在演示模型开发流程，Arm 计划通过 Neural Graphics Model Gym 发布工具，允许开发者捕获并转换内容，以进行完整的模型训练和再训练。

集成与开发者工具

NSS 可通过与 Unreal Engine 的集成进行实验，提供以下两个专用插件：

• NSS Plugin for Unreal Engine：用于 NSS 集成的专用插件。
• Unreal NNE Plugin for ML extensions for Vulkan：提供对 Vulkan 的机器学习扩展的支持。

开发者可以在 Hugging Face 上获取 NSS 模型，并使用 Arm 提供的 Vulkan ML 示例快速入门指南以及 Unreal Engine 集成指南。