uxlfoundation/oneDNN

Open-source library of optimized deep learning operations (matmul, convolution, attention) for CPUs (x64, AArch64, RISC-V) and Intel GPUs. Used by PyTorch, TensorFlow, OpenVINO, and ONNX Runtime.

解决的问题

oneDNN 是一个跨平台库，提供核心深度学习操作的高度优化实现。它作为 AI 框架的加速层，解决了硬件特定的性能瓶颈问题，确保矩阵乘法、卷积等操作在不同 CPU 和 GPU 架构上都能高效运行。

工作原理

该库使用单一 API 支持多种设备，包括 Intel、AMD 和 Arm CPU，以及各种 GPU。它采用即时（JIT）代码生成技术，在运行时检测硬件特性，并为特定的指令集、核心数量和缓存大小生成专用内核。

适用人群

主要面向希望在 CPU 和 GPU 上最大化性能的深度学习应用和框架开发者。已被 PyTorch、TensorFlow 和 OpenVINO 等主流框架用作后端。

主要亮点

  • 广泛的硬件支持：支持 Intel64/AMD64、AArch64、RISC-V CPU 以及 Intel GPU，对 NVIDIA 和 AMD GPU 提供实验性支持。
  • 低精度推理：支持多种数据类型，包括 f32、bf16、f16、fp8、fp4 以及各种整数格式。
  • 操作融合：将激活函数、残差连接和量化融合到矩阵乘法和卷积中，并通过其 Graph API 支持更大的模式，如缩放点积注意力（SDPA）。
  • 互操作性：与 OpenMP、TBB、SYCL 和 OpenCL 兼容。

相关

  • 项目
    NVIDIA/cudnn-frontend

    NVIDIA 的 cuDNN Frontend 是一个头文件仅有的 C++ 库，附带 Python 绑定，可简化 cuDNN Graph API 的使用。它提供统一的图抽象、自动调优，以及适用于 Hopper 和 Blackwell GPU 的开源高性能内核（Flash‑Attention、融合 GEMM‑+‑激活、稀疏注意力等），支持 FP16/BF16/FP8。可通过 pip 安装或直接包含头文件，并可直接与 PyTorch 或 CUDA Graph 集成。

  • 项目
    mil-tokyo/webdnn

    一个基于浏览器的神经网络推理引擎，使用 WebGPU、WebGL 和 WebAssembly 在 Web 浏览器中直接运行 ONNX 模型。

  • 项目
    Samsung/ONE

    ONE 是一个高性能的设备内神经网络推理框架，可使 TensorFlow 和 PyTorch 的 AI 模型在各种硬件加速器上高效运行。

  • 项目
    TrenTorch/TrenTorch

    Tren⚡Torch 是一个教育性质的、仅依赖 NumPy 的深度学习框架，重写了 TinyTorch 并添加了 20 个渐进式模块——从张量和自动微分到 CNN、Transformer、量化和基准测试——还包含 CLI 和历史里程碑脚本，支持动手学习。

  • 项目
    google/XNNPACK

    XNNPACK 是一个高度优化的低层性能原语库，用于加速 ARM、x86、WebAssembly 和 RISC‑V 平台上的神经网络推理。