antirez/h3.c

What it solves

它為 Apple Silicon 上的 MiniMax-H3 模型提供了一個原生的 Metal 推理引擎，讓 macOS 裝置可以在文字提示詞、圖片或其他媒體參考下，高效能地生成影片與音訊。

How it works

該專案實作了 MiniMax-H3 架構，並使用 Apple 的 Metal 框架進行 GPU 加速。它支援多種優化技術以平衡速度與品質，包括：

• Denoising Control: 可調整的去噪次數與速度外推（reuse）以減少運算時間。
• Layer Thinning: 能夠執行 Transformer 區塊的子集以降低記憶體與運算需求。
• SSD Streaming: 從 SSD 載入模型區塊到 GPU 記憶體，按需載入以支援低記憶體裝置。
• Reference Conditioning: 支援首/尾幀錨點（FL2VA）與有序媒體參考（Ref2VA），用於影像轉影片或影片轉影片任務。
• Memory Optimizations: 透過融合門控（fused gates）與 AdaLN 操作來最小化記憶體調度與全域重新讀取。

Who it’s for

使用 Apple Silicon（M 系列晶片）的開發者與創作者，希望在本地端執行 MiniMax-H3 生成式模型以進行高品質的影片與音訊合成。

Highlights

• Native Apple Silicon Support: 特別針對 M3 Max 與 M5 Max 晶片進行了優化。
• Flexible Generation: 支援文字轉影片/音訊、影像轉影片，以及具備音訊保留或替換功能的影片轉影片。
• H3-Specific Optimizations: 包含 Token 減少、內部畫布縮放以及專為低解析度預覽設計的特殊 RoPE 適配。
• Interactive Session: 一個 Iris-style 的互動式 CLI，可將模型組件保留在記憶體中，以實現更快的迭代提示詞生成。
• Low-Memory Mode: SSD Streaming 允許模型在統一記憶體有限的裝置上執行。"},