以資訊驅動的影像系統設計
BAIR 引入了一個基於資訊內容直接評估與優化影像系統的框架。此方法讓研究人員僅透過噪聲測量與噪聲模型，即可量化光學系統區分物體的能力，免除傳統解析度指標或特定任務神經網路解碼器的需求。
互資訊作為統一的影像度量
互資訊作為單一指標，量化測量降低對產生該測量之物體不確定性的程度。不同於僅評估單一品質面向的傳統指標（如訊噪比或解析度），互資訊同時捕捉噪聲、取樣與解析度的綜合影響。
此框架解決了先前資訊理論方法的兩大主要缺失：
- 物理限制： 它避免將影像系統視為無限制的通訊通道，從而避免先前產生的不準確估計。
- 通用性： 它消除對被成像物體的明確模型的需求，使此方法可應用於各種領域。
從噪聲測量估計資訊
計算高維變數之間的互資訊在計算上相當困難，因為需要指數級的樣本量且偏差較高。BAIR 框架透過將互資訊分解為兩個部分來簡化此問題：
I(X;Y) = H(Y) – H(Y|X)
- H(Y|X)（僅噪聲變異）： 由於影像系統的噪聲特性已被良好描述（例如光子散粒噪聲的泊松分布與電子讀出噪聲的高斯分布），此項可直接根據已知物理計算。
- H(Y)（總變異）： 此項透過將機率模型擬合至測量資料集而從資料中學習。研究人員根據效率與準確度的取捨測試了三種模型：固定高斯過程、完整高斯模型，以及自迴歸 PixelCNN。
此過程中的任何模型誤差都會導致對真實資訊的高估，亦即此方法提供了一個一致的上界。
四個影像領域的驗證
資訊估計在四種不同應用中始終能預測下游解碼器的表現，證明資訊含量越高與結果越好之間存在相關性：
- 彩色攝影： 框架正確排序了 Bayer 模式、隨機排列與學習過的濾光片排列在色彩重建上的表現，且不需任何重建演算法。
- 射電天文學： 資訊估計預測了望遠鏡配置的重建品質，使得在不執行昂貴影像重建的情況下即可進行最佳站點選擇。
- 無鏡頭成像： 此方法預測了包括透鏡、微透鏡陣列與散射板等各種設計在不同噪聲水平下的重建精度。
- 顯微鏡： 資訊估計與神經網路在從細胞影像預測蛋白質表達的準確度相關，降低了昂貴的蛋白質標記實驗需求。
IDEAL：資訊驅動的編碼器分析學習
IDEAL 是一種利用資訊估計的梯度上升來優化影像系統參數的方法。此方式不同於標準的端對端優化，後者同時訓練硬體與神經網路解碼器。
僅優化編碼器即可，IDEAL 免除必須透過解碼器網路進行反向傳播的需求，從而帶來多項優勢：
- 降低記憶體需求： 訓練過程中的記憶體開銷較低。
- 降低計算成本： 訓練複雜度下降。
- 無特定任務解碼器： 硬體以資訊含量為優化目標，而非針對特定重建演算法。
在彩色濾光片設計的測試中，IDEAL 在重建品質與資訊含量上皆與端對端優化的表現相當。
感測的更廣泛意涵
此框架提供了一個客觀且統一的度量，用於在真實環境中評估影像系統，即使真實標準資料常常缺乏。研究人員指出，除了傳統影像外，此方法亦可擴展至任何以確定性編碼且具已知噪聲特性的感測領域，包括化學、生物與電子感測器。