vccimaging/DeepLens

何を解決するか

DeepLensは、従来の商業用光学設計ソフトウェアの限界を克服します。これらのソフトウェアは通常、手動によるGUI操作と有限差分勾配に依存しています。DeepLensは、PyTorchのトレーニングループ内で光学系を学習可能なパラメータとして扱える微分可能フレームワークを提供し、光学とニューラルネットワークの共同最適化を可能にします。

動作方法

DeepLensは、レイトレーシング、波動伝播、および代替PSFネットワークを含むさまざまな光学モデルを、PyTorchの計算グラフに直接統合する微分可能な光学レンズシミュレータです。これにより、autogradを介して勾配が光学シミュレーションを通過できるようになり、GPU加速、バッチ処理されたシミュレーション、および光学、画像信号処理（ISP）、再構成ネットワークのエンドツーエンド共同設計が実現されます。

対象ユーザー

計算画像処理および光学設計の研究者やエンジニア向けです。カスタム光学系のプロトタイピング、レンズ設計の自動化、または画像シミュレーション用の合成データセットの生成が必要な場合に最適です。

主な特徴

• 微分可能エンジン: 有限差分よりも高速かつ正確な最適化を実現するautogradによる解析的勾配を使用。
• AIネイティブ: AIエージェントがスクリプトで操作可能で、光学的推論やシミュレーション（例：MTFの計算）を実行できるように設計。
• マルチモデル対応: レイトレーシング、波動伝播、レイ-波ハイブリッドモデル、非順序偏光トレーシングをサポート。
• エンドツーエンド共同設計: End2endImagingなどのフレームワークと統合され、レンズからニューラル再構成に至るカメラパイプライン全体を最適化可能。