pytraveler/MiniMax-H3-Prompt-Rewriter-ComfyUI

Personal adaptation of the lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA project for ComfyUI

解决的问题

此项目提供 ComfyUI 节点,能将简短、简单的提示词转换为专为 MiniMax-H3 视频生成模型设计的结构化、生产级影音描述。它消除了手动编写高质量 MiniMax-H3 输出所需的复杂镜头描述、音景和配乐的需求。

运作方式

该系统使用各种大型语言模型 (LLM) 和 LoRA 适配器来扩展用户的输入。它提供四种主要路径:

  • 基于 LoRA 的重写器:使用具有专用适配器的 Qwen 模型 (27B, 8B, 或 Omni) 来生成结构化输出。8B 和 Omni 版本是多模态的,这意味着它们可以“看见”参考图像或“听见”音频片段来辅助重写。
  • 写作节点:使用任何遵循指令的 GGUF 模型,并由基于 MiniMax 官方写作指南的系统提示词引导,为低端硬件提供轻量级替代方案。
  • 参考标注:将图像、音频或视频转换为写作节点可以使用的文字描述。
  • 提示词预设:包含一千个预先制作好的 MiniMax-H3 提示词库,可供快速使用。

适用对象

  • 使用 MiniMax-H3 进行视频生成的 ComfyUI 用户。
  • 希望获得高质量、结构化视频提示词,而无需手动编写的创作者。
  • 硬件能力各异的用户,从 8GB VRAM (使用写作节点) 到 16GB+ VRAM (使用 27B LoRA) 的用户皆可。

特色亮点

  • 多模态输入:支持文字转视频 (T2VA)、图像转视频 (I2VA)、首尾帧转视频 (FL2VA) 以及参考转视频 (Ref2VA)。
  • 本地执行:所有提示词重写完全在本地进行。
  • 灵活的模型选项:支持多种模型大小 (27B, 8B, Omni) 和量化格式 (nf4, int8, GGUF),以适应不同的 VRAM 预算。
  • 整合工作流:包含七个示例工作流,帮助用户快速上手不同的提示词生成策略。

相关

  • 项目
  • 项目
  • 项目
  • 项目