warpfront/hipfire

hipfire – AMD GPU での LLM 推論

概要 – hipfire は、AMD GPU 上で直接大規模言語モデル（LLM）を実行するネイティブ推論エンジンです。Rust で書かれており、HIP API と Redline と呼ばれるカスタムディスパッチレイヤーを使用します。ホットパスには Python、PyTorch、CUDA 変換レイヤーが含まれないため、スタック全体がネイティブ AMD コードのままです。

重要性 – AMD GPU は、ほとんどのオープンソースランタイムが CUDA をターゲットにしているため、LLM 作業では歴史的に NVIDIA に遅れを取ってきました。hipfire は、RDNA および CDNA ハードウェア上で量子化モデルを提供できる本番環境対応の OpenAI 互換サーバーを提供し、マルチ GPU エキスパート並列、投機的デコード、さらには新しい「Strix Halo」GPU の XDNA2 NPU もサポートすることで、このギャップを埋めます。

主な機能

機能	詳細
Rust のみのランタイム	推論ループ、モデルローダー、CLI はすべて Rust で、実行時の唯一の外部依存は動的にロードされる ROCm です。
量子化形式	サイズと速度をトレードオフする複数のカスタム形式（MQ3-MQ6、MQ4R、MFP4）をサポート。
モデルレジストリ	90 の厳選モデルエントリ（Qwen、DeepSeek、Flux など）と 82 のエイリアスを含む JSON レジストリをバンドル。
CLI とサーバー	`hipfire pull`、`run`、`chat`、`serve`、`bench`、`quantize` に加え、OpenAI 互換の HTTP デーモン（デフォルトポート 11435）。
投機的デコード	DFlash ドラフトモデルとネイティブ MTP ヘッドによる高速トークン生成。
マルチ GPU エキスパート並列	MoE モデル向けの EP2（2 GPU）および EP4 ルート。自動オーナールーティングによるプリフィル。
NPU サポート	gfx1151（Strix Halo）では、トランク投影を XDNA2 NPU にオフロード可能。
PeaceMaker ツールチェーン	`hipcc` を呼び出さずに AMD GPU および NPU マシンコードを生成・認証するツリー内カーネルビルダー。
Redline リプレイレイヤー	カーネルグラフを記録し、検証し、決定的なパフォーマンスのためにリプレイします。検証に失敗した場合は通常の HIP ディスパッチにフォールバックします。
OpenAI 互換 API	`/v1/chat/completions` などを提供し、`enable_thinking` などのオプションフラグをサポート。
豊富なドキュメント	インストール、モデル選択、量子化、設定、ベンチマーク、GPU マトリックスなどをカバーする 20 以上の Markdown ページ。

クイックスタート（簡単な例）

# 270 億パラメータの Qwen モデルを取得（MQ4-XTS 量子化）
hipfire pull qwen3.8:27b-mq4-xts

# ローカルサーバーを起動（127.0.0.1:11435 で待ち受け）
hipfire serve qwen3.8:27b-mq4-xts -d

# CLI からチャット
hipfire chat qwen3.8:27b-mq4-xts

単発リクエストの場合は、次のように実行することもできます：

hipfire run qwen3.8:27b-mq4-xts "What is the capital of France?"

同じモデルは、OpenAI 互換エンドポイントを使用して curl でアクセスできます。

モデルサポート

組み込みレジストリには多くのファミリーが含まれています：

Qwen 3.8 / 3.6 / 3.5（dense、MoE、Flash ドラフト）– サイズは 0.8B から 35B。
Ornith 1.5、Muse Glimmer、DeepSeek V4 Flash、MiniMax-M2.7、North-Mini-Code、Carnice、Qwopus、LFM2.5、VibeThinker など。
Flux 画像生成モデル（flux.schnell:1）。すべての重みは hipfire-models HuggingFace 組織でホストされています。ユーザーは hipfire quantize を使用して独自のモデルをインポートすることもできます。

GPU カバレッジ

アーキテクチャファミリー	GPU（例）	ハイライト
Vega / CDNA	gfx906、gfx908、gfx940-942	Wave64 HIP カーネル、古いカード向けの DP4A アクセラレーテッドプリフィル。
RDNA1	gfx1010-1013	ポータブル HIP + Redline ディスパッチ。
RDNA2	gfx1030-1032	RDNA1 と同じで、ISA が新しい。
RDNA3	gfx1100-1103	WMMA カーネル、MQ4R ルート。
RDNA3.5	gfx1150-1152	WMMA + オプションの XDNA2 NPU プリフィル（Strix Halo）。
RDNA4	gfx1200、gfx1201	WMMA、保持 PM4 Redline、EP2 マルチ GPU 並列。

エンジンはアーキテクチャごとに最適なカーネルを選択します。専用パスがない場合は、ポータブル実装にフォールバックします。

インストール

Linux（ROCm 6+）。ワンラインインストーラーがプリビルドカーネルパックを取得するか、hipcc でローカルビルドします：

curl -fsSL https://raw.githubusercontent.com/warpfront/hipfire/v0.4.2/scripts/install.sh | bash

Windows – ソースビルド手順は GETTING_STARTED.md にあります。
NixOS – 宣言的インストール用の flake とモジュールを提供。
コンテナ – Containerfile がランタイムイメージをビルドします。/dev/kfd と /dev/dri デバイスを公開して実行します。

対応するスクリプトでアンインストールします。--purge は ~/.hipfire も削除します。

ドキュメントとコミュニティ

ドキュメント – README に完全な目次があります。トピックには、モデル選択、量子化、設定、サービング、マルチ GPU 並列、画像生成、アーキテクチャの詳細、ベンチマーク方法論、検証ルールが含まれます。
Discord – アクティブなチャット：https://discord.gg/F3BaywB8Rs。
PeaceMaker – カーネルツールチェーンは別のリポジトリ（warpfront/peacemaker）としてもリリースされています。

ライセンス

hipfire は Apache-2.0（v0.3.0 以降）です。以前のリリースは MIT/Apache-2.0 のデュアルライセンスでした。一部のソースファイルは LLVM 例外付きの MIT を保持しています。

要約

hipfire は、Python や CUDA レイヤーを一切使用せずに AMD GPU（RDNA 1-4、CDNA）上で直接実行される、本番グレードの Rust ベースの LLM 推論エンジンです。厳選されたモデルレジストリ、機能豊富な CLI、OpenAI 互換サーバー、カスタムカーネルツールチェーン（PeaceMaker）、リプレイ最適化ディスパッチャー（Redline）を備えています。AMD GPU をお持ちで、ローカルで大規模言語モデルを実行したい場合、hipfire は現在利用可能な最も完全なオープンソースソリューションです。