fastvideo/gpu-camera-sample

Image processing software on GPU (Windows, Linux, ARM) for real time machine vision camera applications. Performance benchmarks and Glass-to-Glass time measurements. MIPI CSI cameras support. RAW2RGB processing on CUDA with 16-bit ISP. Software for Jetson.

它解决了什么问题

它为机器视觉相机提供了一个高性能的图像处理流水线,能够在 NVIDIA GPU 上实现实时原始图像捕获和处理。通过将计算密集型任务(如去马赛克、降噪和编码)卸载到 GPU,它解决了基于 CPU 的图像处理瓶颈,实现了高达 4 GPix/s 的处理速度。

它如何工作

该应用程序使用多线程架构,从各种相机 SDK(如 XIMEA、FLIR 和 Basler)或 PGM 文件中获取原始图像。数据从内存环形缓冲区传输到 NVIDIA GPU,在 GPU 上经过完整的 ISP(图像信号处理器)流水线处理,包括原始数据转换、坏点校正、白平衡、去马赛克(使用 HQLI 或 MG 等算法)以及色彩校正。处理后的帧可通过 OpenGL 渲染,或编码为 JPEG、MJPEG、H.264 或 HEVC 以用于存储或流媒体传输。

适用于谁

专为从事机器视觉、工业相机和 NVIDIA Jetson 平台开发的开发者和工程师设计,无需依赖固定功能硬件 ISP,即可获得可调优、高精度(16/32 位)的图像处理流水线。

主要亮点

  • 极高的吞吐量:在高端 GPU(如 RTX 4090)上,彩色相机的处理速度可达高达 4 GPix/s。
  • 广泛的相机支持:通过直接 SDK 或 GenICam,兼容 XIMEA、FLIR、Basler、Lucid Vision Labs 等多种相机。
  • 全面的 ISP 流水线:包含 NLM 降噪器、多种去马赛克算法以及线性/sRGB 伽马校正等高级功能。
  • 低延迟:内置工具用于测量从玻璃到玻璃的延迟,特定配置下的基准测试显示延迟约为 35–40 毫秒。
  • 跨平台支持:支持 Windows、Linux 和 NVIDIA Jetson(ARM64)。

一个真正实时的 GPU 加速图像处理流水线,为工业相机提供高性能、可调优的图像信号处理能力 — @handle

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目