Arm Neural Super Sampling (NSS) リリース

Arm は Neural Super Sampling (NSS) をリリースしました。これは AI を活用したアップスケーリングソリューションで、モバイルデバイス向けに低い計算コストで高解像度レンダリングを実現します。この技術は、モバイルゲームや拡張現実 (XR) など、電力制約のある環境でのパフォーマンス最適化を目的としています。

高解像度レンダリングとGPU負荷削減

Neural Super Sampling (NSS) は、低解像度の時間的入力から高品質な出力フレームを再構築することで、GPU の計算負荷を軽減します。デモ「Enchanted Castle」では、NSS が GPU の負荷を 50% 削減し、540p でレンダリングしながら 1080p にアップスケールし、持続的なパフォーマンス設定でレイテンシは 4ms でした。

技術アーキテクチャと最適化

NSS はリアルタイム時間的スーパーサンプリング用のパラメータ予測モデルです。モバイル GPU 内の Neural Accelerators (NX) 上での実行に最適化されており、Arm Neural Technology を活用して将来のモバイルハードウェアでリアルタイム性能を実現します。

トレーニングデータとモデル開発

NSS の開発を支援するため、Arm は Neural Graphics Dataset を提供しています。これは参照画像、画像シーケンス、関連するモーションおよび深度データのコレクションです。現在のデータセットはモデル開発フローを示すための限定的なものですが、Arm は Neural Graphics Model Gym を通じてツールをリリースし、開発者がコンテンツを取得・変換してフルモデルのトレーニングや再トレーニングができるようにする予定です。

統合と開発者ツール

NSS は、Unreal Engine との統合を通じて、以下の 2 つのプラグインで実験的に利用できます。

• NSS Plugin for Unreal Engine: NSS 統合用の専用プラグイン。
• Unreal NNE Plugin for ML extensions for Vulkan: Vulkan 用の ML 拡張をサポートします。

開発者は Hugging Face で NSS モデルにアクセスでき、Arm が提供する Vulkan ML サンプルと Unreal Engine 統合のクイックスタートガイドを利用できます。