大腦只是一群專門的代理人在彼此對話 — Jeff Beck 博士

代理性作為政策的精緻度

代理性不是二元狀態，而是一種程度問題，由系統用來將輸入映射到輸出的政策的精緻度決定。從數學角度看，物體（例如岩石）與代理人之間沒有結構上的差異；兩者都執行政策。差異體現在內部計算的複雜度——具體而言，系統是否進行規劃與反事實推理。

代理性的黑箱問題

從外部觀察者的角度來說，判斷一個系統是真正「規劃」還是僅僅執行高度精緻的預先計算回應，幾乎是不可能的。觀察者只能看到最終的行動（即政策），無法確定內部是否進行了 rollout 或類似蒙特卡羅樹搜索的模擬。

Beck 博士提出一種務實的、基於模型的方法：如果能解釋系統行為的最簡單計算模型必須包含規劃與反事實推理，那麼將該系統視為代理人是合理的。這與 Daniel Dennett 的「意向立場」相呼應——把系統當作有目標的存在是一種有用的解釋工具，即使它不是真正的微觀因果真相。

物理性與代理性

Beck 博士認為真正的代理性需要物理化身。雖然高保真電腦模擬可以建模代理性並以 100% 的準確度預測代理人的行為，但模擬本身並不是代理人。代理性與環境的物理交互緊密相連，這暗示了代理性模型與代理人實體是不同的概念。

基於能量的模型（EBM）與貝葉斯推理

基於能量的模型與傳統的前饋神經網路的主要差異在於成本函數的應用位置。標準網路的成本函數作用於輸入與輸出，以優化權重；而在 EBM 中，成本函數同時作用於模型的權重與內部狀態（隱藏節點）。

EBM 的機制

為了得到預測，EBM 需要執行兩次最小化：

1. 找到與內部狀態相關的能量最小值。
2. 最小化預測誤差。

變分自編碼器（VAE）被視為 EBM 的典型例子，因為它的成本函數包含限制內部表徵的項（例如強制潛在空間服從高斯分布），而不僅僅關注輸入與輸出之間的重建誤差。

EBM 與測試時訓練的比較

目前「測試時訓練」的趨勢把部分權重視為潛在變量，在推理時進行優化，Beck 博士指出了一個關鍵缺陷：大多數此類模型在部署前先以純監督方式訓練。他認為，要實現真正的 EBM 行為，網路應該在整個訓練過程中就保持這些潛在優化的活躍，而不是僅在部署時才啟用。

JEPA 與潛在空間學習

由 Yann LeCun 推廣的 Joint Embedding Prediction Architecture（JEPA）將學習目標從「預測每個像素」（生成模型）轉向「在壓縮的潛在空間中預測嵌入之間的關係」。

潛在預測的優勢

預測每個像素往往迫使模型關注無關緊要的細節。透過將輸入與輸出都壓縮成嵌入，並學習它們之間的預測，模型能捕捉更具「整體感」或概念性的世界理解。此方法將科學視為預測與資料壓縮的過程。

防止模型崩潰

在聯合嵌入中，一個主要挑戰是「模型崩潰」——網路找到一個平凡解（例如把所有嵌入設為零）即可達成完美預測。為避免此情況，非對比學習方法（如 Barlow Twins）使用正則化來保持表徵的豐富性與忠實度，無需傳統對比方法中昂貴的負樣本抽取。

智慧的模組化演化

智慧被視為不是單一的通用能力（AGI），而是一系列專門智慧的集合。Beck 博士認為，大腦是透過結合簡單、專門的模組並學會相互溝通而演化出來的，從而產生了涌現的計算能力。

嗅覺起源理論

Beck 博士提出，嗅覺系統可能是聯想皮層演化的主要驅動力。與平滑且平移不變的視覺空間不同，嗅覺空間是組合性的且高度複雜。為解決這類非平滑問題而演化出的神經機制，可能為前額葉皮層與高階規劃提供了基礎。

持續學習與元程式設計

真正的智慧需要具備持續學習的能力——在面對新情境時能即時產生新模型或潛在變量來解釋它。GFlowNets 就是一個例子，可視為「生成模型的生成模型」，允許系統擴展自身的內部架構以應對新奇事物。

AI 安全與未來工作

Beck 博士不擔心叛逆的超級智慧（如「天網」），而是關注人類的「衰弱」——人類變成僅僅「獎勵函數的選擇者」，只負責批准或拒絕 AI 輸出，卻不理解其背後的過程。

透過逆向強化學習安全規定目標

為避免「反常實例」問題（例如 AI 為了根除飢餓而消滅人類），Beck 建議使用最大熵逆向強化學習。與其手動指定目標，AI 觀察人類行為，根據人類當前行動與結果的穩態分布，推導出一個經驗估計的獎勵函數。

要安全地改善世界，人類應對這個估計分布做小幅、受控的擾動，並評估其後果，而不是發出寬泛、天真的指令。