infer-actively/pymdp

解决的问题

pymdp 提供了一个框架，用于模拟使用主动推理（Active Inference）的智能体。主动推理是一种理论上的智能方法，其中智能体通过最小化意外（变分自由能）来行动。它特别解决了在离散状态空间的马尔可夫决策过程（MDP）环境中，创建能够同时学习环境（认知价值）并最大化奖励的智能体这一挑战。

工作原理

该库使用 NumPy 和 JAX 实现了主动推理的数学运算，以实现高效计算。用户可以定义智能体对世界的内部模型（由观测矩阵 A、转移矩阵 B 和偏好矩阵 C 组成），然后模拟智能体与环境交互的行为。智能体首先进行状态推断以确定当前状态，然后推断策略以选择最小化预期自由能的动作。

适用人群

本工具专为对认知科学、计算神经科学以及表现出好奇心驱动探索和目标导向行为的 AI 智能体感兴趣的科研人员和开发者设计。

主要亮点

• 认知驱动力：智能体自然地寻求信息以减少不确定性（好奇心），而无需显式的奖励塑造。
• JAX 支持：支持高性能计算，并提供 JAX 优先的实现，以实现高效的模拟。
• 已验证：底层数学运算已与 SPM MATLAB 实现进行基准测试和验证。
• 离散状态空间优化：特别针对离散状态空间中的主动推理进行了优化。