jatinchowdhury18/RTNeural

何を解決するか

RTNeural は、リアルタイムシステムに特化した軽量な C++ 推論エンジンであり、特にリアルタイム音声処理に焦点を当てています。開発者が低遅延かつ高パフォーマンスが求められる環境で、事前に学習されたニューラルネットワークを実行できるように設計されています。

動作方法

このライブラリは、TensorFlow や PyTorch などのフレームワークで学習されたニューラルネットワークを、JSON ファイル経由で重みをインポートし、C++ で前方伝播（推論）を実行します。主に2つの API を提供しています：

• 動的 API：JSON ファイルから実行時に推論エンジンを生成します。
• コンパイル時 API：モデルのアーキテクチャをコンパイル時に定義することで、ネットワーク構造を固定し、パフォーマンスを大幅に向上させます。

パフォーマンス最適化のため、Eigen、xsimd、および C++ STL の3つのバックエンドをサポートしており、AVX SIMD 拡張を用いてビルドすることも可能です。

対象ユーザー

リアルタイムアプリケーションを開発する C++ 開発者、特に音声プラグイン（VST、AU、LV2）やニューラルネットワーク推論をリアルタイムで行う必要がある組み込みシステムを開発する人向けです。

特徴

• リアルタイム最適化：低遅延音声処理に特化しています。
• 柔軟な重み読み込み：TensorFlow および PyTorch からの重みインポートをサポートしています。
• 広範なレイヤー対応：Dense、GRU、LSTM、Conv1D、Conv2D、BatchNorm レイヤーを含みます。
• 複数のバックエンド：パフォーマンスチューニングのため、Eigen、xsimd、STL の選択が可能です。
• コンパイル時最適化：モデルを静的に定義することで最大の速度を実現できます。