10x-Engineers/Infinite-ISP

해결하는 문제

Infinite-ISP는 이미지 신호 처리기(ISP)를 생성하고 조정하기 위한 풀스택 개발 플랫폼을 제공합니다. 오픈소스 ISP 개발의 분산 문제를 해결하기 위해 다양한 카메라 파이프라인 모듈을 단일 플랫폼으로 통합하여, 개발자들이 전통적이고 딥러닝 기반의 이미지 처리 알고리즘을 모두 구현, 비교, 조정할 수 있도록 합니다.

작동 방식

이 플랫폼은 RAW 센서 데이터를 RGB 이미지로 변환하는 다단계 파이프라인으로 작동합니다. 다음과 같은 구현 계층으로 구성되어 있습니다:

• 알고리즘 설계: 고수준 알고리즘 개발을 위한 Python 기반 모델.
• 참고 모델: 고정 소수점 Python 모델로, 하드웨어 구현의 블루프린트 역할을 합니다.
• RTL 설계: 하드웨어 합성용 Verilog 기반 ISP 구현.
• FPGA 통합: Xilinx Kria KV260 개발 보드 전용 프레임워크 및 펌웨어.
• 튜닝 도구: 다양한 센서에 맞춰 ISP 파라미터를 캘리브레이션하는 독립형 Python 애플리케이션.
• Linux 스택: ISP를 Linux 플랫폼에 통합하기 위한 드라이버 및 애플리케이션 스택.

대상 사용자

ISP 개발자, 하드웨어 엔지니어, 카메라 파이프라인, 센서 캘리브레이션, FPGA 기반 이미지 처리에 종사하는 연구자들을 위한 것입니다.

주요 특징

• 포괄적인 파이프라인: 사망 픽셀 보정, 블랙 레벨 보정, Bayer 노이즈 감소, 화이트 밸런스, 디모자이킹, 색 공간 변환 모듈 포함.
• 3A 알고리즘: 그레이 월드 및 PCA와 같은 방법을 사용한 자동 노출(AE) 및 자동 화이트 밸런스(AWB) 구현.
• 하드웨어 준비 완료: Python 프로토타이핑에서 RTL 및 FPGA 배포까지의 경로 제공.
• 유연한 구성: YAML 네이티브 파이프라인 편집 및 설정 파일을 통해 센서별 파라미터 조정 가능.
• 성능 메트릭: PSNR 및 SSIM 메트릭을 사용한 이미지 품질 평가 도구 포함.