antirez/h3.c

What it solves

它为 Apple Silicon 上的 MiniMax-H3 模型提供了一个原生的 Metal 推理引擎，让 macOS 设备可以在文本提示词、图片或其他媒体参考下，高性能地生成视频与音频。

How it works

该项目实现 MiniMax-H3 架构，并使用 Apple 的 Metal 框架进行 GPU 加速。它支持多种优化技术以平衡速度与质量，包括：

• Denoising Control: 可调节的去噪次数与速度外推（reuse）以减少计算时间。
• Layer Thinning: 能够运行 Transformer 块的子集以降低内存与计算需求。
• SSD Streaming: 从 SSD 按需加载模型块到 GPU 内存，以支持低内存设备。
• Reference Conditioning: 支持首/尾帧锚点（FL2VA）和有序媒体参考（Ref2VA），用于图像转视频或视频转视频任务。
• Memory Optimizations: 通过融合门控（fused gates） and AdaLN 操作来最小化内存调度与全局重读。

Who it’s for

使用 Apple Silicon（M 系列芯片）的开发者与创作者，希望在本地端运行 MiniMax-H3 生成式模型以进行高质量的视频与音频合成。

Highlights

• Native Apple Silicon Support: 特别针对 M3 Max 和 M5 Max 芯片进行了优化。
• Flexible Generation: 支持提示词转视频/音频、图像转视频，以及带有音频保留或替换功能的视频转视频。
• H3-Specific Optimizations: 包括 Token 减少、内部画布缩放以及专为低分辨率预览设计的特殊 RoPE 适配。
• Interactive Session: 一个 Iris-style 的交互式 CLI，可将模型组件保留在内存中，以实现更快的迭代提示词生成。
• Low-Memory Mode: SSD streaming 允许模型在统一内存有限的设备上运行。