facebookresearch/Pearl

何を解決するか

Pearlは、複雑な現実世界の環境で動作できる生産環境対応の強化学習（RL）AIエージェントを開発するためのフレームワークを提供します。観測の制限、フィードバックの疎らさ、高い確率的変動性、そして即時的利益よりも長期的な累積報酬を優先する必要性といった課題に特に対応しています。

動作方法

Pearlはモジュール構造を採用しており、研究者や実務者がさまざまなRLコンポーネントを自由に組み合わせてカスタマイズされたエージェントを構築できます。ポリシー学習、知能的なニューラル探索、リプレイバッファなどの機能を統合しています。このライブラリは、コンテキストバンドイットから順次意思決定まで、幅広いRLパラダイムをサポートしており、安全制約や履歴要約のための専用モジュールも含まれています。

対象ユーザー

生産環境向けのRLエージェントを開発する業界の実務者や学術研究者向けに設計されています。例として、レコメンデーションシステム、オークション入札システム、クリエイティブ選定などがあります。

主な特徴

• モジュール構造: 特定の用途に合わせて機能を柔軟に組み合わせてエージェントをカスタマイズ可能。
• 生産環境対応機能: 動的アクション空間、オフライン学習、安全な意思決定をサポート。
• 高度な探索機能: 複雑な環境に対応するための知能的なニューラル探索を内蔵。
• シリアル化: コンポーネントはPyTorchと互換性のある状態辞書（state dicts）を出力可能で、保存・読み込みが容易。