fastvideo/gpu-camera-sample

Image processing software on GPU (Windows, Linux, ARM) for real time machine vision camera applications. Performance benchmarks and Glass-to-Glass time measurements. MIPI CSI cameras support. RAW2RGB processing on CUDA with 16-bit ISP. Software for Jetson.

解决的问题

本项目提供了一个高性能的示例应用程序,用于实时GPU加速处理原始相机数据。它解决了对低延迟、高吞吐量图像信号处理(ISP)管道的需求,能够处理高达4 GPix/s的巨量像素速率,而无需依赖固定功能硬件ISP,从而实现完全可调的处理阶段。

工作原理

该应用程序在NVIDIA GPU上实现多线程管道。它通过SDK或GenICam从各种工业相机捕获原始图像数据(单色或Bayer),将数据导入GPU,并执行包括去马赛克、降噪、色彩校正和伽马调整在内的完整ISP序列。处理后的帧随后通过OpenGL渲染,或作为压缩视频流(JPEG、H.264、HEVC)导出到SSD或网络目标。

适用人群

专为使用NVIDIA GPU(包括Jetson平台)并需要为专业级相机实现自定义、高精度(16/32位)图像处理管道的机器视觉、工业成像和机器人开发人员设计。

主要亮点

  • 极高的吞吐量:在RTX 4090等高端NVIDIA GPU上,最高可处理4 GPix/s。
  • 全面的ISP管道:包含坏点校正、暗帧减法、平场校正、白平衡以及多种去马赛克算法(HQLI、L7、DFPD、MG)。
  • 广泛的相机支持:兼容XIMEA、FLIR、Basler、Lucid Vision Labs等GenICam兼容相机。
  • 低延迟:内置工具可测量从采集到显示的“玻璃到玻璃”延迟。
  • 跨平台支持:支持Windows、Linux和NVIDIA Jetson(ARM64)平台。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目