CVCUDA/CV-CUDA

CV-CUDA™ is an open-source, GPU accelerated library for cloud-scale image processing and computer vision.

What it solves

CV-CUDA 是為了消除 AI 流水線中的瓶頸而設計的。它透過提供高吞吐量、低延遲的影像與影片處理，將較慢的 CPU 基於預處理步驟替換為 GPU 加速演算法，以確保 AI 模型可以在 NVIDIA 雲端、桌面與邊緣平台上的數據餵入速度達到最大化。

How it works

這是一個包含 GPU 加速電腦視覺演算法的函式庫，能與 C/C++ 和 Python 無縫整合。它允許開發者直接在 GPU 上執行如影像縮放與解碼（透過 nvImageCodec）等操作，將數據保留在 GPU 記憶體中，以避免 CPU 與 GPU 之間昂貴的數據傳輸。

Who it’s for

正在為電腦視覺構建 AI 流水線的開發者，特別是那些在 Linux 或 WSL2 上使用 NVIDIA GPU（Turing, Ampere, Ada Lovelace, Hopper, 和 Blackwell 架構）的人士。

Highlights

  • GPU 加速的電腦視覺演算法，提供高吞吐量與低延遲。
  • 與 Python 和 C/C++ AI 框架的無縫整合。
  • 支援廣泛的 NVIDIA 硬體，包括伺服器級 GPU 與 Jetson 嵌入式平台。
  • 針對雲端、桌面與邊緣環境的擴展性進行了優化。