ai4co/rl4co

解決する課題

RL4CO は、強化学習（RL）を組合せ最適化（CO）問題に適用するための統一されたベンチマークとフレームワークを提供します。RL ベースの CO アルゴリズムの科学的研究を、その実装にかかるエンジニアリングの負担から分離し、再現可能な研究を促進することを目的としています。

仕組み

このフレームワークは、PyTorch、TorchRL、TensorDict、PyTorch Lightning、Hydra の上に構築されており、最適化問題を解決するためのモジュール式コンポーネントを提供します。主に3つのタイプのポリシーをサポートしています：

• 構築的ポリシー：ゼロから解を構築します。これには、ステップバイステップで解を構築する自己回帰（AR）ポリシーと、構築を導くためのヒューリスティック（ヒートマップなど）を予測する非自己回帰（NAR）ポリシーが含まれます。
• 改善ポリシー：既存の解を洗練し改善することに焦点を当てます。

対象読者

AI 駆動の組合せ最適化に取り組む研究者や開発者、特に強化学習を使用して複雑なルーティングやスケジューリング問題を解決する人々を対象としています。

主な特徴

• 統一フレームワーク：複数の RL ライブラリを統合し、CO ベンチマークの標準化された環境を提供します。
• モジュール式設計：環境埋め込みなどの再利用可能なコンポーネントを備え、新しい問題を解決するために簡単に交換できます。
• 柔軟なポリシー：構築的（AR および NAR）と改善ベースの両方の RL ポリシーをサポートします。
• 高性能：TorchRL を介した GPU ベクトル化環境と、PyTorch Lightning を介した高性能トレーニングラッパーを活用します。