Arm Neural Super Sampling (NSS) 發布

Arm 已發布 Neural Super Sampling (NSS)，這是一種 AI 驅動的升頻解決方案，可在較低的計算成本下為行動裝置實現高解析度渲染。此技術旨在優化電力受限環境（如行動遊戲和擴增實境 (XR)）中的效能。

高解析度渲染與降低 GPU 負載

Neural Super Sampling (NSS) 透過從低解析度的時間性輸入重建高品質的輸出影格，減輕 GPU 的計算負擔。在示範的「Enchanted Castle」演示中，NSS 將 GPU 工作負載降低了 50%，以 540p 渲染並升頻至 1080p，且在持續效能設定下延遲為 4 毫秒。

技術架構與最佳化

NSS 是一種即時時間性超取樣的參數預測模型。它專門針對行動 GPU 內的神經加速器 (NX) 進行最佳化，利用 Arm Neural Technology 在未來的行動硬體上實現即時效能。

訓練資料與模型開發

為支援 NSS 的開發，Arm 提供了 Neural Graphics Dataset，這是一套包含參考影像、影像序列以及相關運動與深度資料的集合。雖然目前的資料集僅為示範模型開發流程的有限集合，Arm 計畫透過 Neural Graphics Model Gym 發布工具，讓開發者能夠捕捉並轉換內容，以進行完整的模型訓練與再訓練。

整合與開發者工具

NSS 可透過與 Unreal Engine 的整合進行實驗，提供兩個特定插件：

• NSS Plugin for Unreal Engine：專為 NSS 整合而設的插件。
• Unreal NNE Plugin for ML extensions for Vulkan：提供 Vulkan 的機器學習擴充支援。

開發者可在 Hugging Face 上取得 NSS 模型，並使用 Arm 提供的 Vulkan ML 範例快速入門指南與 Unreal Engine 整合指南。