charlie12345/ROCmFPX

何を解決するか

ROCmFPX は AMD ハードウェアに特化した GGUF モデル重みの量子化フォーマットを提供します。Radeon GPU 上での効率的なモデル保存と高速な推論を実現するために、2ビットから8ビットまでのさまざまなビット幅を AMD アーキテクチャに最適化しており、一般的なフォーマットと比較してメモリトラフィックを削減し、トークンスループットを向上させます。

仕組み

このプロジェクトは llama.cpp に実験的な重みフォーマットを追加し、HIP/ROCm および Vulkan バックエンド用の高速化カーネルを実装しています。正しさを保証するための CPU リファレンスパスも含まれています。以下の量子化ファミリーが提供されます：

• ROCmFP2/3/4/6/8：精度の異なる浮動小数点風の量子化形式。
• ROCmI4：符号付き4ビット整数形式で、AMD Strix Halo（gfx1151）ハードウェアのネイティブな v_wmma_i32_16x16x16_iu4 指令を活用してバッチ行列乗算を高速化できます。
• MTP 加速：埋め込まれた MTP/NextN ヘッドを持つモデルに対応し、複数の提案トークンを1バッチで検証できる自己推論デコードをサポートすることで、デコード速度を向上させます。
• エージェント対応プリセット：JSON やコードなどの構造化出力を維持するために、重要なテンソルを保護する特定の量子化レシピ（例：*_COHERENT や *_AGENT）を提供します。

対象ユーザー

AMD Radeon GPU 上で LLM を実行するユーザー、特に llama.cpp を使用している人、および Strix Halo（gfx1151）ハードウェアをお持ちで推論性能を最大化し、VRAM 使用量を最小限に抑えたい人。

主な特徴

• AMD最適化量子化：2、3、4、6、8ビット GGUFフォーマットのネイティブサポート。
• マルチバックエンド対応：Vulkan および HIP/ROCm 両方の高速化パスをサポート。
• Strix Halo 特化：gfx1151 デバイス向けのオプトイン型 IU4/W4A4 加速。
• 推論予測：別途ドラフトモデルを必要とせずに、組み込みの MTP 加速により高速なトークン生成が可能。
• 精度制御：最小サイズの（ROCmFP2）から高品質リファレンス（ROCmFP8）まで、幅広いフォーマットを提供。