10x-Engineers/Infinite-ISP

何を解決するか

Infinite-ISP は、Image Signal Processor (ISP) の作成とチューニングに向けたフルスタック開発プラットフォームを提供します。オープンソースのISP開発における断片化を解消し、さまざまなカメラパイプラインモジュールを単一のプラットフォームに統合することで、開発者が従来型およびディープラーニングベースの画像処理アルゴリズムを実装・比較・チューニングできるようにします。

動作方法

このプラットフォームは、RAWセンサデータをRGB画像に変換するマルチステージパイプラインとして動作します。以下の実装レイヤーで構成されています：

• アルゴリズム設計：ハイレベルなアルゴリズム開発に使用するPythonベースのモデル。
• リファレンスモデル：固定小数点Pythonモデルで、ハードウェア実装の設計図として機能します。
• RTL設計：ハードウェア合成用のVerilogによるISP実装。
• FPGA統合：Xilinx Kria KV260開発ボード専用のフレームワークとファームウェア。
• チューニングツール：異なるセンサー向けにISPパラメータをキャリブレーションするためのスタンドアロンPythonアプリ。
• Linuxスタック：ISPをLinuxプラットフォームに統合するためのドライバとアプリケーションスタック。

対象ユーザー

ISP開発者、ハードウェアエンジニア、カメラパイプライン、センサーキャリブレーション、FPGAベースの画像処理に取り組む研究者向けに設計されています。

主な特徴

• 包括的なパイプライン：デッドピクセル補正、ブラックレベル補正、Bayerノイズ低減、ホワイトバランス、デモザイキング、カラースペース変換のモジュールを含む。
• 3Aアルゴリズム：グレイワールド法やPCAを用いた自動露出（AE）および自動ホワイトバランス（AWB）の実装。
• ハードウェア対応：PythonプロトタイピングからRTLおよびFPGAデプロイメントまでの道筋を提供。
• 柔軟な設定：YAMLネイティブのパイプライン編集および設定ファイルにより、センサー固有のパラメータを調整可能。
• パフォーマンスメトリクス：PSNRおよびSSIMメトリクスを用いた画像品質評価ツールを搭載。