intel/linux-npu-driver

Intel® NPU (Neural Processing Unit) Driver

解決的問題

本專案提供 Intel® NPU（神經處理單元）所需的驅動程式，讓 Linux 系統能與內建於 Intel® Core™ Ultra CPU 中的 AI 推論加速器進行通訊並加以利用。

作用方式

它作為核心驅動程式，使硬體加速器（在核心中稱為通用處理單元或 VPU）能以節能方式執行人工神經網路任務。

適用對象

需要在搭載 Intel® Core™ Ultra CPU 的 Linux AI 電腦上啟用硬體加速 AI 推論的開發者與使用者。

主要特色

  • 支援 Intel® Core™ Ultra 世代 CPU（Meteor Lake）。
  • 實現 AI 任務的節能執行。
  • 與 Intel® OneAPI Level Zero 和 OpenVINO™ 生態系統整合。

相關

  • 專案
    amd/xdna-driver

    一個 Linux 內核驅動與 XRT SHIM 庫，可為搭載 RyzenAI 處理器的 AMD XDNA（NPU）裝置提供 AI 推論加速支援。

  • 專案
    SearchSavior/OpenArc

    一個基於 OpenVINO 的推論引擎，透過 OpenAI 相容端點為 Intel 設備提供 LLM、VLM 與音訊模型的推理服務。

  • 專案
    aws-neuron/aws-neuron-sdk

    AWS Neuron 是一個用於高效率深度學習與生成式 AI 的 SDK，可於 AWS Inferentia 與 Trainium 加速器上部署與分析工作負載。

  • 專案
    microsoft/onnxruntime-genai

    一個使用 ONNX Runtime 在設備上執行生成式 AI 模型的高效能 API，處理從預處理到取樣的完整生成循環。

  • 專案
    InfiniTensor/InfiniTensor

    一個為 GPU 和 AI 加速器設計的高性能推理引擎，可實現高效的模型部署與學術驗證。