infer-actively/pymdp

解決的問題

pymdp 提供了一個框架，用於模擬使用主動推理（Active Inference）的代理。主動推理是一種理論上的智能方法，其中代理透過最小化意外（變分自由能）來行動。它特別解決了在離散狀態空間的馬可夫決策過程（MDP）環境中，建立能夠同時學習環境（認知價值）並最大化獎勵的代理這一挑戰。

工作原理

該庫使用 NumPy 和 JAX 實現主動推理的數學運算，以實現高效計算。使用者可以定義代理對世界的內部模型（由觀測矩陣 A、轉移矩陣 B 和偏好矩陣 C 組成），然後模擬代理與環境互動的行為。代理首先進行狀態推斷以確定當前狀態，然後推斷策略以選擇最小化預期自由能的動作。

適用對象

本工具專為對認知科學、計算神經科學以及表現出好奇心驅動探索與目標導向行為的 AI 代理感興趣的研究人員和開發者設計。

主要亮點

• 認知驅動力：代理自然地尋求資訊以減少不確定性（好奇心），而無需顯式的獎勵塑造。
• JAX 支援：支援高效率計算，並提供 JAX 優先的實作，以實現高效的模擬。
• 已驗證：底層數學運算已與 SPM MATLAB 實作進行基準測試與驗證。
• 離散狀態空間優化：特別針對離散狀態空間中的主動推理進行優化。