JuliaPOMDP/POMDPs.jl

解決的問題

POMDPs.jl 提供了一個標準化的核心介面，用於定義和求解涉及馬爾可夫決策過程（MDPs）和部分可觀測馬爾可夫決策過程（POMDPs）的問題。它允許開發者使用通用的程式設計詞彙來表達不確定性下的複雜決策問題，進而更容易撰寫求解器軟體並高效執行模擬。

工作原理

此專案建立了一個核心介面，定義 MDP 和 POMDP 應如何結構化。它由一個配套套件 POMDPTools 支援，該套件作為標準程式庫，提供策略、信念更新器、機率分佈和模擬器等基本實作。此生態系採用模組化方式，使用者只需定義一次問題，即可應用各種求解器（作為獨立套件提供）來尋找最佳或近似最佳的策略。

適用對象

此工具包專為從事不確定性下決策、強化學習與機器人學的研究人員與開發者設計，也適用於需要對狀態無法完全觀測的系統進行建模的使用者。

主要特色

• 廣泛生態系：與多種 MDP 和 POMDP 求解器整合，涵蓋從離線價值迭代到線上蒙特卡洛樹搜尋（MCTS）的各類方法。
• 跨語言支援：可透過 quickpomdps 或 pyjulia 在 Python 中使用。
• 互操作性：提供與 CommonRLInterface 和 JuliaReinforcementLearning 生態系的雙向整合。
• 靈活建模：支援離散與連續的狀態、動作與觀測。