Enderfga/SolarRenderer
SolarRenderer: Few-Step Generative Reference Rendering
SolarRenderer 是一个工具,可将粗糙的“结构视频”——如灰盒模型、语义图、骨架、深度数据、人体网格,甚至它从未见过的草图——转换为成品、精美的视频。您可以选择性地提供首帧和文本提示词来控制最终外观(写实、动漫、像素艺术、水墨等)。
工作原理: 它基于名为 MiniMax-H3 的视频模型,并添加了两个小型适配器模块(LoRA)。一个适配器帮助理解结构输入;另一个使其仅需四个生成步骤即可生成完整片段,README 称这比通常的 50 步方法快 12.3 倍。相同适配器的特殊“块因果”版本可逐块流式输出视频,每块准备好后立即显示。
主要亮点:
- 一个模型,任意结构 — 无需针对不同结构类型设置单独分支或标签;提示词只需说明结构类型。
- 快速 — 四步而非数十步。
- 灵活风格 — 同一结构可通过首帧和提示词渲染为多种视觉风格。
- 流式输出 — 长片段逐块输出。
- 开放基准 — 208 个困难测试用例和 53 个保留片段,附带评分代码和所有裁判判定。
如何运行: 您可以通过 Hugging Face 在线演示在浏览器中试用(无需安装),在单 GPU 上使用参考 Python 脚本,作为 ComfyUI 节点工作流运行(低内存版本适用于 16 GB GPU,如 RTX 4090),或在 Reactor 平台上部署流式服务(社区贡献,已在四块 B200 GPU 上验证)。
设置: 克隆仓库,安装依赖,下载基础模型和两个 LoRA 权重文件,然后使用结构视频、可选首帧和提示词运行渲染脚本。包含的示例是合成波高速公路场景:语义图输入,霓虹渲染输出。
许可: 代码采用 Apache 2.0。模型权重遵循 MiniMax H3 社区许可,包含地域限制(排除欧盟、英国、韩国和美国)和可接受使用政策。四步 LoRA 基于另一个模型(DMAD)在同一许可下微调。
致谢: SolarRenderer 基于 SolarWM 框架构建,用于视频世界模型,并感谢 MiniMax-H3 和 DMAD 作为基础。
相关
- 项目
- 项目
- 项目
- 项目