基于信息驱动的成像系统设计

BAIR 引入了一个框架,用于直接评估和优化成像系统的信息含量。该方法只需使用带噪声的测量数据和噪声模型,就能量化光学系统对物体的区分能力,省去了传统分辨率指标或任务特定神经网络解码器的需求。

互信息:统一的成像度量

互信息作为单一度量,量化了测量结果在多大程度上降低了对产生该测量的物体的不确定性。不同于仅评估单一质量方面的传统指标(如信噪比或分辨率),互信息同时捕捉噪声、采样和分辨率的综合影响。

该框架解决了以往信息论方法的两个主要缺陷:

  1. 物理约束:它避免将成像系统视为无约束的通信信道,从而避免了先前出现的不准确估计。
  2. 通用性:它不需要对被成像物体建立显式模型,使该方法能够在各种领域中通用使用。

从噪声测量中估计信息

在高维变量之间计算互信息极其困难,因为需要指数级的样本量且偏差大。BAIR 框架通过将互信息分解为两部分来简化计算:

I(X;Y) = H(Y) – H(Y|X)

  • H(Y|X)(仅噪声的变异):由于成像系统的噪声(如光子散粒噪声的泊松分布和电子读出噪声的高斯分布)已被很好地表征,这一项可以直接依据已知物理模型计算。
  • H(Y)(总体变异):这一项通过对测量数据集拟合概率模型来学习。研究者测试了三种在效率‑精度之间权衡的模型:平稳高斯过程、完整高斯模型以及自回归 PixelCNN。

在此过程中产生的任何建模误差都会导致对真实信息的高估,因此该方法提供了一个一致的上界。

四大成像领域的验证

信息估计在四个不同应用中始终能够预测下游解码器的性能,证明信息含量越高,结果越好:

  • 彩色摄影:框架在无需重建算法的情况下,正确排序了 Bayer 图案、随机排列以及学习得到的滤波器排列在颜色重建上的表现。
  • 射电天文学:信息估计预测了不同望远镜阵列配置的重建质量,从而在不进行昂贵图像重建的前提下实现最优站点选择。
  • 无镜头成像:该方法预测了包括透镜、微透镜阵列和散射体在内的多种设计在不同噪声水平下的重建精度。
  • 显微成像:信息估计与神经网络在从细胞图像预测蛋白表达上的准确度相关,降低了昂贵的蛋白标记实验需求。

IDEAL:信息驱动的编码器分析学习

IDEAL 是一种基于信息估计的梯度上升方法,用于优化成像系统参数。它不同于标准的端到端优化——后者同时训练硬件和神经网络解码器。

通过仅优化编码器,IDEAL 无需 对解码器网络进行反向传播,带来了以下优势:

  • 降低内存需求:训练过程中的显存占用更少。
  • 降低计算成本:训练复杂度下降。
  • 无需任务特定解码器:硬件被优化为最大化信息含量,而非针对特定重建算法。

在彩色滤波器设计实验中,IDEAL 在重建质量和信息含量上均达到了端到端优化的水平。

对感知的更广泛影响

该框架为在真实环境(往往缺乏真值数据)下评估成像系统提供了客观、统一的度量。研究者指出,这一思路可以推广到任何可建模为确定性编码 + 已知噪声特性的感知领域,包括化学、生物和电子传感器等。

Sources