jatinchowdhury18/RTNeural

해결하는 문제

RTNeural은 실시간 시스템에 특화된 가벼운 C++ 추론 엔진으로, 특히 실시간 오디오 처리에 중점을 두고 있습니다. 낮은 지연과 높은 성능이 중요한 환경에서 사전 학습된 신경망을 실행할 수 있도록 설계되었습니다.

작동 방식

이 라이브러리는 TensorFlow 또는 PyTorch와 같은 프레임워크에서 학습된 신경망을 JSON 파일을 통해 가중치를 가져와 C++에서 전방 전파(추론)를 수행합니다. 주로 두 가지 API를 제공합니다:

• 동적 API: JSON 파일에서 런타임에 추론 엔진을 생성합니다.
• 컴파일 타임 API: 모델 아키텍처를 컴파일 시점에 정의하여 네트워크 구조를 고정함으로써 성능을 크게 향상시킵니다.

성능 최적화를 위해 Eigen, xsimd, 그리고 C++ STL 세 가지 백엔드를 지원하며, AVX SIMD 확장 기능을 사용해 빌드할 수 있습니다.

대상 사용자

실시간 애플리케이션을 개발하는 C++ 개발자, 특히 오디오 플러그인(VST, AU, LV2) 또는 신경망 추론이 실시간으로 이루어져야 하는 임베디드 시스템을 개발하는 사람들을 위한 것입니다.

주요 특징

• 실시간 최적화: 낮은 지연 오디오 처리에 특화되어 있습니다.
• 유연한 가중치 로딩: TensorFlow 및 PyTorch에서 가중치를 가져올 수 있습니다.
• 다양한 레이어 지원: Dense, GRU, LSTM, Conv1D, Conv2D, BatchNorm 레이어를 포함합니다.
• 다양한 백엔드: 플랫폼별 성능 조정을 위해 Eigen, xsimd, STL 중 선택 가능합니다.
• 컴파일 타임 최적화: 모델을 정적으로 정의하여 최대 속도를 달성할 수 있습니다.