infer-actively/pymdp

何を解決するか

pymdp は、アクティブな推論（Active Inference）という知能の理論的アプローチを用いるエージェントのシミュレーションフレームワークを提供します。アクティブな推論では、エージェントは予期しない出来事（変分自由エネルギー）を最小化するために行動します。特に、離散状態空間のマルコフ決定過程（MDP）環境において、環境についての学習（認識的価値）と報酬の最大化を同時に達成できるエージェントの構築という課題に取り組んでいます。

動作方法

このライブラリは、Pythonでアクティブな推論の数学的操作を実装しており、効率的な計算のためにNumPyとJAXを利用しています。ユーザーは世界の内部モデル（観測行列A、遷移行列B、好み行列Cから構成）を定義し、エージェントが環境と相互作用する様子をシミュレートできます。エージェントは現在の状態を推論した後、期待される自由エネルギーを最小化する行動を選択するためのポリシーを推論します。

対象ユーザー

このツールは、認知科学、計算神経科学、および好奇心に基づく探索と目標指向行動を示すAIエージェントに興味を持つ研究者や開発者向けに設計されています。

特徴

• 認識的動機：明示的な報酬設計なしに、不確実性を減らす（好奇心）ために情報を探求するエージェントが自然に動作します。
• JAX対応：高性能計算をサポートし、効率的なシミュレーションのためのJAX最適化実装を提供します。
• 検証済み：低レベルの数学的操作は、SPM MATLAB実装と比較してベンチマークおよび検証されています。
• 離散状態空間専用：離散状態空間におけるアクティブな推論に特に最適化されています。