warpfront/hipfire

何を解決するか

hipfire は、AMD GPU（RDNA および CDNA アーキテクチャ）の潜在能力を最大限に引き出すことを目的とした、高性能で AMD ネイティブな LLM 推論エンジンです。Python、PyTorch、CUDA の翻訳レイヤーに伴うオーバーヘッドを排除し、独自の Rust ベースのランタイム、HIP カーネル、および量子化フォーマットを提供することで、AMD ハードウェアユーザーに「Ollama風」の使い心地を提供します。

動作方法

このプロジェクトはカスタム Rust ランタイムを使用し、動的に ROCm をロードしてモデルを実行します。主な技術的要素は以下の通りです：

• Redline: カーネルグラフを記録し、リソースの依存関係を導出することで、グラフが安全であることが証明された後、起動オーバーヘッドを削減するディスパッチおよびリテンションリプレイの基盤。
• Saddle: RDNA、CDNA、および将来的には XDNA 用の第一級のコンピューティングバックエンドを提供することを目指す基盤レイヤー。
• カスタム量子化: MQ4、MQ4R などのさまざまな MQ 形式および HF4 をサポートし、スループットと品質を最適化。
• アーキテクチャチューニング: RDNA3/4 用のアーキテクチャ固有のカーネル（例：WMMA パス）を実装し、古い GPU（Vega/CDNA）向けにポータブルなフォールバックを提供。

対象ユーザー

RDNA1-4 のコンシューマー向け GPU から、プロフェッショナル向けの CDNA/MI300X まで、AMD GPU を搭載し、Python 重視のスタックの複雑さを避けながら、高速なローカル LLM および画像生成推論を求めるユーザー。

特徴

• AMD ネイティブ: Rust + HIP で構築され、ホットパスから Python を排除し、最大の効率性を実現。
• 広範な GPU 対応: RDNA3/4 に最適化されており、RDNA1/2 および Vega/CDNA アーキテクチャもサポート。
• OpenAI互換 API: デーモンがポート 11435 で API を公開し、既存のクライアントとの簡単な統合を可能に。
• キュレートされたモデルレジストリ: Qwen、DeepSeek、FLUX などの画像生成用モデルを含む、80 以上のキュレート済みモデルエントリを搭載。
• Cスタイル CLI: hipfire pull、hipfire chat などのシンプルなコマンドで、モデルの取得、提供、チャットが可能。