Tencent-Hunyuan/Hy-Nomas

Hy-Nomas：自由形式的交互式世界生成

Hy-Nomas 是腾讯开源的一款模型，用于生成交互式视频世界。您可以通过文本提示和摄像头移动来控制它，它会生成响应您输入的视频片段。它设计为在单块高端 GPU（如 RTX 4090）上运行，并包含微调工具和交互式网页演示。

它能做什么？

• 生成视频世界：它创建视频片段（例如 5 秒片段），形成连续、可探索的世界。
• 多轮控制：您可以随时给出文本指令或摄像头移动，模型会相应地更新后续片段。
• 自由形式提示：您可以用自然语言描述对象、风格、场景或动作，无需固定模板。
• 摄像头控制：您可以指定摄像头轨迹（如平移、缩放或 WASD 式移动）来探索世界。

主要特性（来自 README）

• 基于片段的生成：模型逐段生成视频，使用“终身 KV 缓存”记住之前的内容。这保持了跨片段的世界一致性。
• 蒸馏推理：模型的更快版本，仅使用 4–8 个去噪步骤（而不是很多）和专用解码器，使其适合实时使用。
• 低内存推理：可在单块 RTX 4090 上运行，内存占用减少（INT8 权重、CPU 卸载等）。
• LoRA 微调：您可以通过训练小型适配器权重并将其合并到主模型中，使模型适应特定任务（例如电影风格、机器人技术）。
• 交互式演示：一个网页界面，让您在多轮中控制生成，并在片段边界查看结果。

如何使用

• 设置：您可以使用预打包的 Docker 镜像（推荐）或手动安装 Python 3.12+、uv 和 CUDA 13.0。
• 模型资源：从 Hugging Face（tencent/Hy-Nomas）下载所有权重。仓库包含不同的检查点（基础、蒸馏、量化）和适配器（电影、机器人）。
• 推理：运行仓库中的脚本，或使用 Diffusers 管道（HyNomasModularPipeline）进行 Python 集成。
• 交互式演示：使用在线演示或使用 Reactor 运行时或网页演示部署指南运行自己的演示。

社区集成

几个第三方项目已添加 Hy-Nomas 支持：

• SGLang：用于离线视频作业和实时流式传输。
• ComfyUI：基于节点的界面，支持链式片段和摄像头控制。
• Reactor Runtime：支持实时提示更新和摄像头控制的流式服务。
• WanGP：添加键盘探索和文本驱动事件。
• Google TPU 演示：在 TPU 上运行，支持实时 720p 生成。

微调

您可以在自己的视频数据上微调 Hy-Nomas：

1. 准备数据：使用提供的字幕工具为视频添加注释并编码。
2. 打包序列：构建打包计划以进行高效训练。
3. 训练：使用提供的配置在非蒸馏检查点上训练 LoRA 适配器。
4. 合并：将训练好的 LoRA 权重合并到蒸馏检查点中以进行推理。

许可证

Apache 2.0（开源）。

有关完整详细信息，请参阅 README。