10x-Engineers/Infinite-ISP

解决的问题

Infinite-ISP 提供了一个完整的 ISP 开发平台，用于创建和调优图像信号处理器（ISP）。它通过将各种开源相机处理模块集中到一个统一平台，解决了开源 ISP 开发的碎片化问题，使开发者能够实现、比较和调优传统及基于深度学习的图像处理算法。

工作原理

该平台作为一个多阶段流水线，将 RAW 传感器数据转换为 RGB 图像。其由多个实现层级构成：

• 算法设计：基于 Python 的模型，用于高层算法开发。
• 参考模型：固定精度的 Python 模型，作为硬件实现的蓝图。
• RTL 设计：用于硬件综合的 Verilog 实现的 ISP。
• FPGA 集成：专为 Xilinx Kria KV260 开发板设计的框架和固件。
• 调优工具：独立的 Python 应用程序，用于为不同传感器校准 ISP 参数。
• Linux 堆栈：用于将 ISP 集成到 Linux 平台的驱动程序和应用堆栈。

适用人群

专为 ISP 开发人员、硬件工程师以及从事相机流水线、传感器校准和基于 FPGA 的图像处理的研究人员设计。

主要亮点

• 完整的流水线：包含死像素校正、黑电平校正、Bayer 噪声抑制、白平衡、去马赛克和色彩空间转换等模块。
• 3A 算法：采用灰度世界法和 PCA 等方法实现自动曝光（AE）和自动白平衡（AWB）。
• 硬件就绪：提供从 Python 原型设计到 RTL 和 FPGA 部署的完整路径。
• 灵活配置：使用原生 YAML 流水线编辑和配置文件，可灵活调整传感器特定参数。
• 性能指标：包含使用 PSNR 和 SSIM 指标评估图像质量的工具。