vccimaging/DeepLens

解决的问题

DeepLens 解决了传统商业光学设计软件的局限性，这些软件通常依赖手动 GUI 调整和有限差分梯度。它提供了一个可微分的框架，允许在 PyTorch 训练循环中将光学系统视为可学习的参数，从而实现光学与神经网络的联合优化。

工作原理

DeepLens 是一个可微分的光学镜头模拟器，将各种光学模型——包括光线追踪、波传播和替代点扩散函数（PSF）网络——直接集成到 PyTorch 计算图中。这使得梯度可以通过 autograd 流经光学模拟，从而实现 GPU 加速、批量模拟，并支持光学、图像信号处理器（ISP）和重建网络的端到端联合设计。

适用人群

专为需要原型化定制光学系统、自动化镜头设计或生成图像模拟合成数据集的计算成像和光学设计研究人员及工程师设计。

主要亮点

• 可微分引擎：利用 autograd 的解析梯度，相比有限差分实现更快、更精确的优化。
• AI 原生：专为 AI 代理脚本化设计，可执行光学推理和模拟（例如计算 MTF）。
• 多模型支持：支持光线追踪、波传播、光线-波混合模型以及非顺序偏振追踪。
• 端到端联合设计：可与 End2endImaging 等框架集成，优化从镜头到神经重建的整个相机流水线。