GFNOrg/torchgfn

它解决了什么问题

它为原型设计和实现 GFlowNets（生成流网络）提供了一个标准化框架，使研究人员和工程师能够在不从零开始构建的情况下，实验不同的采样过程、环境定义和损失函数。

它如何工作

该库将三个主要组件解耦：环境（定义状态和动作）、采样过程（状态如何生成）以及函数近似器（用于计算 GFN 损失的神经网络或模块）。它包含多种预构建的环境（离散和连续），多种损失函数参数化方式（如 TB、DB 和 FM），并支持多种策略类型，包括循环、非自回归和基于扩散的策略。

适用于谁

需要灵活工具来开发新算法或复现已发表结果的 GFlowNets 研究人员和工程师。

主要特性

• 支持离散和连续环境。
• 实现了多种 GFlowNet 损失类型（TB、DB、SubTB、FM、ZVar 和 RTB）。
• 高级训练功能，包括离策略训练、回放缓冲区和专家数据预热。
• 多种探索策略，如 epsilon-greedy、温度缩放和方差退火。
• 支持条件 GFlowNets 和基于扩散的采样。