uxlfoundation/oneDNN

해결하는 문제

oneDNN은 딥러닝 애플리케이션을 위한 기본 빌딩 블록을 제공하는 크로스 플랫폼 성능 라이브러리입니다. 이는 서로 다른 하드웨어 아키텍처에서 딥러닝 워크로드를 최적화하는 문제를 해결하여, 모든 플랫폼에 대해 하드웨어별 코드를 작성할 필요 없이 다양한 CPU 및 GPU에서 애플리케이션을 효율적으로 실행할 수 있도록 합니다.

작동 방식

이 라이브러리는 딥러닝을 위한 최적화된 프리미티브 세트를 제공합니다. 실행 시점에 명령 세트 아키텍처(ISA)를 감지하는 CPU 디스패처를 사용하며, 적시(JIT) 코드 생성을 채택하여 지원되는 최신 ISA에 대해 가장 최적화된 코드를 배포합니다. 또한 여러 런타임(OpenMP, TBB, SYCL)을 지원하며 CPU 및 GPU 실행을 위한 별도의 엔진을 제공합니다.

대상 사용자

CPU 및 GPU에서 소프트웨어 성능을 향상시키고자 하는 딥러닝 애플리케이션 및 프레임워크 개발자를 위해 설계되었습니다. 최종 사용자나 딥러닝 실무자를 위한 것이 아니며, 대신 PyTorch, TensorFlow, llama.cpp와 같이 oneDNN가 활성화된 프레임워크를 사용하는 것이 권장됩니다.

주요 특징

• 폭넓은 하드웨어 지원: Intel 64/AMD64, Arm AArch64 및 Intel Graphics에 최적화되어 있으며, NVIDIA 및 AMD GPU, RISC-V, Power ISA에 대한 실험적 지원을 제공합니다.
• 크로스 플랫폼: Linux, Windows 및 macOS에서 작동합니다.
• 프레임워크 통합: PyTorch, TensorFlow 및 ONNX Runtime와 같은 주요 딥러닝 프레임워크에 통합되어 있습니다.
• JIT 최적화: 런타임 ISA 감지 및 JIT 코드 생성을 사용하여 최고의 CPU 성능을 구현합니다.