GFNOrg/torchgfn

解決的問題

它提供了一個標準化的框架，用於原型設計和實現 GFlowNets（生成流網絡），讓研究人員和工程師能夠在不從零開始構建的情況下，嘗試不同的採樣過程、環境定義和損失函數。

工作原理

該程式庫將三個主要組件分離：環境（定義狀態和動作）、採樣過程（狀態如何產生）以及函數近似器（用於計算 GFN 損失的神經網絡或模組）。它包含多種預建環境（離散和連續）、多種損失函數參數化（如 TB、DB 和 FM），並支援多種策略類型，包括遞迴、非自回歸和基於擴散的策略。

適用對象

需要靈活工具來開發新算法或重現已發表結果的研究人員和工程師。

主要特色

• 支援離散與連續環境。
• 實現多種 GFlowNet 損失類型（TB、DB、SubTB、FM、ZVar 和 RTB）。
• 先進的訓練功能，包括非策略訓練、重放緩衝區和專家數據預熱。
• 多種探索策略，如 epsilon-greedy、溫度縮放和方差退火。
• 支援條件 GFlowNets 和基於擴散的採樣。