JuliaPOMDP/POMDPs.jl

解决的问题

POMDPs.jl 提供了一个标准化的核心接口，用于定义和求解涉及马尔可夫决策过程（MDPs）和部分可观测马尔可夫决策过程（POMDPs）的问题。它允许开发者使用通用的编程词汇来表达不确定性下的复杂决策问题，从而更轻松地编写求解器软件并高效运行模拟。

工作原理

该项目建立了一个核心接口，定义了 MDP 和 POMDP 应该如何结构化。它由一个配套包 POMDPTools 支持，该包作为标准库，提供策略、信念更新器、分布和模拟器等基本实现。该生态系统采用模块化方法，用户只需定义一次问题，即可应用各种求解器（作为独立包提供）来寻找最优或近似最优策略。

适用人群

该工具包专为从事不确定性下的决策、强化学习和机器人学的研究人员和开发者设计，也适用于需要对状态无法完全观测的系统进行建模的用户。

主要亮点

• 广泛生态系统：与多种 MDP 和 POMDP 求解器集成，涵盖从离线价值迭代到在线蒙特卡洛树搜索（MCTS）的各类方法。
• 跨语言支持：可通过 quickpomdps 或 pyjulia 在 Python 中使用。
• 互操作性：提供与 CommonRLInterface 和 JuliaReinforcementLearning 生态系统的双向集成。
• 灵活建模：支持离散和连续的状态、动作和观测。