10x-Engineers/Infinite-ISP

解決的問題

Infinite-ISP 提供一個完整的 ISP 開發平台，用於建立與調校影像信號處理器（ISP）。它透過將各種開源相機處理模組整合至單一平台，解決了開源 ISP 開發的碎片化問題，讓開發者能實作、比較與調校傳統及深度學習基礎的影像處理演算法。

作法原理

此平台作為一個多階段的流程，將 RAW 傳感器資料轉換為 RGB 圖像。其由多個實作層級組成：

• 演算法設計：以 Python 為基礎的模型，用於高階演算法開發。
• 參考模型：固定精度的 Python 模型，作為硬體實作的藍圖。
• RTL 設計：用於硬體合成的 Verilog 實作 ISP。
• FPGA 整合：專為 Xilinx Kria KV260 開發板設計的框架與韌體。
• 調校工具：獨立的 Python 應用程式，用於為不同傳感器校準 ISP 參數。
• Linux 堆疊：用於將 ISP 整合至 Linux 平台的驅動程式與應用堆疊。

適用對象

專為 ISP 開發人員、硬體工程師，以及從事相機流程、傳感器校準與基於 FPGA 的影像處理的研究人員所設計。

主要亮點

• 完整的流程：包含死像素修正、黑電平修正、Bayer 噪音降低、白平衡、去馬賽克與色彩空間轉換等模組。
• 3A 算法：採用灰階世界法與 PCA 等方法實作自動曝光（AE）與自動白平衡（AWB）。
• 硬體就緒：提供從 Python 原型設計到 RTL 與 FPGA 部署的完整路徑。
• 彈性設定：使用原生 YAML 流程編輯與設定檔，可靈活調整傳感器特定參數。
• 效能指標：內建使用 PSNR 與 SSIM 指標評估影像品質的工具。