uxlfoundation/oneDNN

解決する課題

oneDNNは、ディープラーニングアプリケーション向けの基本ビルディングブロックを提供するクロスプラットフォーム・パフォーマンス・ライブラリです。これは、異なるハードウェアアーキテクチャ間でディープラーニングのワークロードを最適化するという問題を解決し、あらゆるプラットフォームに対してハードウェア固有のコードを記述することなく、さまざまなCPUおよびGPU上でアプリケーションを効率的に実行できるようにします。

仕組み

このライブラリは、ディープラーニング用に最適化された一連のプリミティブを提供します。実行時に命令セットアーキテクチャ（ISA）を検出するCPUディスパッチャを使用し、ジャストインタイム（JIT）コード生成を採用して、サポートされている最新のISAに対して最も最適化されたコードをデプロイします。また、複数のランタイム（OpenMP、TBB、SYCL）をサポートし、CPUおよびGPU実行用の個別のエンジンを提供します。

対象者

CPUおよびGPU上でのソフトウェアのパフォーマンスを向上させたいディープラーニングアプリケーションおよびフレームワークの開発者向けに設計されています。エンドユーザーやディープラーニングの実務者向けではなく、代わりにPyTorch、TensorFlow、llama.cppなどのoneDNNが有効化されたフレームワークの使用が推奨されます。

ハイライト

• 幅広いハードウェアサポート: Intel 64/AMD64、Arm AArch64、およびIntel Graphics向けに最適化されており、NVIDIAおよびAMD GPU、RISC-V、Power ISAを実験的にサポートしています。
• クロスプラットフォーム: Linux、Windows、macOSで動作します。
• フレームワーク統合: PyTorch、TensorFlow、ONNX Runtimeなどの主要なディープラーニングフレームワークに統合されています。
• JIT最適化: 実行時のISA検出とJITコード生成を使用して、最高のCPUパフォーマンスを実現します。