JuliaPOMDP/POMDPs.jl

해결하는 문제

POMDPs.jl은 마르코프 결정 과정(MDP)과 부분 관측 마르코프 결정 과정(POMDP)을 포함한 문제를 정의하고 해결하기 위한 표준화된 핵심 인터페이스를 제공합니다. 개발자들은 공통적인 프로그래밍 어휘를 사용하여 불확실성 하에서의 복잡한 의사결정 문제를 표현할 수 있으며, 이는 소프트웨어 솔버를 작성하고 효율적으로 시뮬레이션을 실행하는 데 도움이 됩니다.

작동 방식

이 프로젝트는 MDP와 POMDP가 어떻게 구조화되어야 하는지를 정의하는 핵심 인터페이스를 설정합니다. 이를 보완하는 POMDPTools 패키지는 정책, 믿음 업데이트기, 분포, 시뮬레이터 등의 필수 구현을 제공하는 표준 라이브러리 역할을 합니다. 이 생태계를 통해 사용자는 문제를 한 번 정의한 후, 별도의 패키지로 제공되는 다양한 솔버를 적용하여 최적 또는 근사 최적의 정책을 찾을 수 있습니다.

대상 사용자

이 툴킷은 불확실성 하에서의 의사결정, 강화 학습, 로봇공학에 종사하는 연구자 및 개발자, 그리고 상태가 완전히 관측되지 않는 시스템을 모델링해야 하는 사람들에게 적합합니다.

주요 특징

• 광범위한 생태계: 오프라인 가치 반복에서 온라인 몬테카를로 트리 탐색(MCTS)에 이르기까지 다양한 MDP 및 POMDP 솔버와 통합됩니다.
• 다국어 지원: quickpomdps 또는 pyjulia를 통해 Python에서도 사용 가능합니다.
• 상호 운용성: CommonRLInterface 및 JuliaReinforcementLearning 생태계와 양방향 통합을 제공합니다.
• 유연한 모델링: 이산적 및 연속적 상태, 행동, 관측을 모두 지원합니다.