worldbench/DanceOPD

解决的问题

DanceOPD 解决了图像生成模型中“能力干扰”的问题。当开发者尝试将多种能力（如文本转图像生成、局部编辑和全局风格转换）合并到单一模型时，提升其中一项能力往往会导致另一项能力下降。DanceOPD 提供了一种将这些多样化能力合成到一个紧凑学生模型中的方法，且无需特定任务的训练代码或复杂的奖励模型。

运作原理

该系统将每个期望的能力视为由冻结的教师模型提供的“速度场”。在训练过程中，学生模型执行一次展开（生成状态），系统会查询对应的教师模型以获取该特定状态下的正确速度。随后，学生模型使用简单的速度 MSE 目标进行更新，以匹配教师的输出。

关键技术特征包括：

• 策略内场查询 (On-policy field query)：教师监督的是当前学生实际访问的状态，而非离线数据。
• 硬路由匹配 (Hard-routed matching)：每个训练样本被分配给唯一一个语义有效的教师，防止不同能力之间的模糊平均。
• 语义侧查询 (Semantic-side query)：默认情况下，每次展开仅使用单一低噪声查询状态以保持效率。
• 后端可扩展性：支持多种流匹配骨干网络，包括 SD3.5 和 Z-Image。

适用对象

此项目适用于使用流匹配图像生成器的 AI 研究人员和开发者，他们希望将多种专业能力（如高质量编辑和提示词遵循）合并到单一部署模型中。

亮点

• 能力融合：成功结合了 T2I、局部编辑和全局编辑，且不会崩溃至任何单一来源。
• 高效展开：包含 query_prefix 模式，可将展开前向传播减少高达 31.7%。
• 简单目标：使用直接速度 MSE，无需对抗性评论家或奖励模型。
• 灵活训练：提供三种方法：danceopd (单查询 ODE)、diffusionopd (密集 ODE-KL) 和 flowopd (SDE + PPO)。