GFNOrg/torchgfn

What it solves

GFlowNets(Generative Flow Networks)를 프로토타이핑하고 구현하기 위한 표준화된 프레임워크를 제공하여, 연구자와 엔지니어가 모든 것을 처음부터 구축할 필요 없이 다양한 샘플링 프로세스, 환경 정의 및 손실 함수를 실험할 수 있도록 합니다.

How it works

이 라이브러리는 세 가지 주요 구성 요소를 분리합니다: 환경(상태와 행동을 정의), 샘플링 프로세스(상태가 생성되는 방식), 그리고 함수 근사기(GFN 손실을 계산하는 데 사용되는 신경망 또는 모듈). 이 라이브러리는 다양한 사전 구축된 환경(이산 및 연속), 여러 손실 함수 매개변수화(TB, DB, FM 등), 그리고 순환형, 비자기회귀형, 확산 기반 정책을 포함한 다양한 정책 유형을 지원합니다.

Who it’s for

새로운 알고리즘을 개발하거나 발표된 결과를 재현하기 위해 유연한 도구가 필요한 GFlowNets 작업 연구자와 엔지니어.

Highlights

• 이산 및 연속 환경 모두 지원.
• 여러 GFlowNet 손실 유형(TB, DB, SubTB, FM, ZVar, 및 RTB) 구현.
• 오프-폴리시(off-policy) 훈련, 리플레이 버퍼, 전문가 데이터 웜스타팅(warm-starting)을 포함한 고급 훈련 기능.
• epsilon-greedy, temperature scaling, variance annealing과 같은 다양한 탐색 전략.
• 조건부 GFlowNets 및 확산 기반 샘플링 지원.