vccimaging/DeepLens

해결하는 문제

DeepLens은 전통적인 상용 광학 설계 소프트웨어의 한계를 해결합니다. 이러한 소프트웨어는 일반적으로 수동적인 GUI 기반 조정과 유한 차분 기울기에 의존합니다. DeepLens은 PyTorch 훈련 루프 내에서 광학 시스템을 학습 가능한 파라미터로 다룰 수 있는 미분 가능 프레임워크를 제공하여 광학과 신경망의 공동 최적화를 가능하게 합니다.

작동 방식

DeepLens은 레이 트레이싱, 파동 전파, 대체 PSF 네트워크를 포함한 다양한 광학 모델을 PyTorch 계산 그래프에 직접 통합하는 미분 가능한 광학 렌즈 시뮬레이터입니다. 이로 인해 autograd를 통해 기울기가 광학 시뮬레이션을 통과할 수 있게 되어 GPU 가속, 배치 처리된 시뮬레이션 및 광학, 이미지 신호 처리기(ISP), 재구성 네트워크의 엔드투엔드 공동 설계가 가능해집니다.

대상 사용자

맞춤형 광학 시스템을 프로토타이핑하거나 렌즈 설계를 자동화하거나 이미지 시뮬레이션을 위한 합성 데이터셋을 생성해야 하는 계산 영상 및 광학 설계 분야의 연구자 및 엔지니어를 위한 것입니다.

주요 특징

• 미분 가능 엔진: 유한 차분보다 빠르고 정확한 최적화를 위한 autograd를 통한 해석적 기울기 사용.
• AI 네이티브: AI 에이전트가 광학적 추론 및 시뮬레이션(예: MTF 계산)을 수행할 수 있도록 스크립트로 조작 가능하도록 설계.
• 다중 모델 지원: 레이 트레이싱, 파동 전파, 레이-파동 하이브리드 모델, 비순차적 편광 트레이싱을 지원.
• 엔드투엔드 공동 설계: End2endImaging 같은 프레임워크와 통합되어 렌즈에서 신경망 재구성에 이르는 전체 카메라 파이프라인을 최적화 가능.