ReinFlow/ReinFlow
[NeurIPS 2025] Flow x RL. "ReinFlow: Fine-tuning Flow Policy with Online Reinforcement Learning". Support VLAs e.g., Pi0, Pi0.5, GR00TN1.5. Fully open-sourced.
What it solves
ReinFlow 解決了使用線上強化學習 (RL) 微調流匹配策略（通常是透過模仿學習訓練）的困難。它特別解決了即使策略只使用極少的去噪步驟（例如 1 到 4 步），仍能使策略機率對梯度優化保持可處理的問題，從而對離散化與蒙特卡羅近似誤差具有韌性。
How it works
ReinFlow 是一個策略梯度框架，用於微調預訓練的流策略。流程通常從使用模仿學習（行為克隆）訓練流策略開始。之後 ReinFlow 透過線上 RL 進一步優化策略。核心創新在於訓練一個端到端的噪聲注入網路，使模型無論使用多少去噪步驟都能準確計算策略機率。
Who it’s for
此框架設計給從事機器人控制與具身 AI 的研究者與開發者，特別是使用基於流的策略（如 1‑Rectified Flow 或 Shortcut Models）執行腿部行走、基於狀態的操作與視覺操作等任務的人員。
Highlights
- Broad Compatibility: Supports 1-Rectified Flow, Shortcut Models, and other ODE-defined policies.
- VLA Model Support: Capable of fine-tuning large Vision-Language-Action (VLA) models, including NVIDIA's GR00T and $\pi_0/\pi_{0.5}$.
- Efficiency: Enables effective RL fine-tuning with very few denoising steps (1, 2, or 4).
- Proven Performance: Demonstrated success across diverse robotic benchmarks including OpenAI Gym, Franka Kitchen, and Robomimic.