warpfront/hipfire

hipfire – AMD GPU에서 LLM 추론

정의 – hipfire는 AMD GPU에서 직접 대규모 언어 모델(LLM)을 실행하는 네이티브 추론 엔진입니다. Rust로 작성되었으며, HIP API와 Redline이라는 사용자 정의 디스패치 레이어를 사용합니다. 핫 경로에 Python, PyTorch, CUDA 변환 레이어가 없으므로 전체 스택이 네이티브 AMD 코드로 유지됩니다.

중요성 – AMD GPU는 대부분의 오픈소스 런타임이 CUDA를 대상으로 하기 때문에 LLM 작업에서 역사적으로 NVIDIA에 뒤쳐져 왔습니다. hipfire는 RDNA 및 CDNA 하드웨어에서 양자화된 모델을 제공할 수 있는 프로덕션 준비된 OpenAI 호환 서버를 제공하여 이 격차를 메웁니다. 멀티 GPU 전문가 병렬 처리, 추측 디코딩, 최신 "Strix Halo" GPU의 XDNA2 NPU도 지원합니다.

주요 기능

기능	세부 사항
Rust 전용 런타임	추론 루프, 모델 로더, CLI가 모두 Rust로 작성됨. 런타임 시 유일한 외부 종속성은 동적으로 로드되는 ROCm입니다.
양자화 형식	크기와 속도를 절충하는 여러 사용자 정의 형식(MQ3-MQ6, MQ4R, MFP4)을 지원합니다.
모델 레지스트리	90개의 선별된 모델 항목(Qwen, DeepSeek, Flux 등)과 82개의 별칭이 포함된 JSON 레지스트리를 번들로 제공합니다.
CLI 및 서버	`hipfire pull`, `run`, `chat`, `serve`, `bench`, `quantize` 및 OpenAI 호환 HTTP 데몬(기본 포트 11435).
추측 디코딩	DFlash 드래프트 모델 및 네이티브 MTP 헤드로 더 빠른 토큰 생성.
멀티 GPU 전문가 병렬 처리	MoE 모델용 EP2(2-GPU) 및 EP4 라우트. 자동 소유자 라우팅 프리필.
NPU 지원	gfx1151(Strix Halo)에서 트렁크 프로젝션을 XDNA2 NPU로 오프로드할 수 있습니다.
PeaceMaker 툴체인	`hipcc`를 호출하지 않고 AMD GPU 및 NPU 머신 코드를 생성하고 인증하는 트리 내 커널 빌더.
Redline 리플레이 레이어	커널 그래프를 기록하고, 검증하고, 결정적 성능을 위해 리플레이합니다. 검증 실패 시 일반 HIP 디스패치로 폴백합니다.
OpenAI 호환 API	`/v1/chat/completions` 등을 제공하며 `enable_thinking`과 같은 선택적 플래그를 지원합니다.
방대한 문서	설치, 모델 선택, 양자화, 구성, 벤치마킹, GPU 매트릭스 등을 다루는 20개 이상의 Markdown 페이지.

빠른 시작(간단한 예)

# 270억 파라미터 Qwen 모델 가져오기(MQ4-XTS 양자화)
hipfire pull qwen3.8:27b-mq4-xts

# 로컬 서버 시작(127.0.0.1:11435에서 수신)
hipfire serve qwen3.8:27b-mq4-xts -d

# CLI에서 채팅
hipfire chat qwen3.8:27b-mq4-xts

단일 요청의 경우 다음을 실행할 수도 있습니다:

hipfire run qwen3.8:27b-mq4-xts "What is the capital of France?"

동일한 모델은 OpenAI 호환 엔드포인트를 사용하여 curl로 액세스할 수 있습니다.

모델 지원

내장 레지스트리에는 많은 제품군이 포함되어 있습니다:

Qwen 3.8 / 3.6 / 3.5(dense, MoE, Flash 드래프트) – 0.8B에서 35B까지 크기.
Ornith 1.5, Muse Glimmer, DeepSeek V4 Flash, MiniMax-M2.7, North-Mini-Code, Carnice, Qwopus, LFM2.5, VibeThinker 등.
Flux 이미지 생성 모델(flux.schnell:1). 모든 가중치는 hipfire-models HuggingFace 조직에서 호스팅됩니다. 사용자는 hipfire quantize를 통해 자신의 모델을 가져올 수도 있습니다.

GPU 지원 범위

아키텍처 제품군	GPU(예)	하이라이트
Vega / CDNA	gfx906, gfx908, gfx940-942	Wave64 HIP 커널, 구형 카드용 DP4A 가속 프리필.
RDNA1	gfx1010-1013	휴대용 HIP + Redline 디스패치.
RDNA2	gfx1030-1032	RDNA1과 동일하지만 최신 ISA.
RDNA3	gfx1100-1103	WMMA 커널, MQ4R 라우트.
RDNA3.5	gfx1150-1152	WMMA + 선택적 XDNA2 NPU 프리필(Strix Halo).
RDNA4	gfx1200, gfx1201	WMMA, 유지 PM4 Redline, EP2 멀티 GPU 병렬 처리.

엔진은 아키텍처별로 최적의 커널을 선택합니다. 전용 경로가 없으면 휴대용 구현으로 폴백합니다.

설치

Linux(ROCm 6+). 한 줄 설치 프로그램이 사전 빌드된 커널 팩을 가져오거나 hipcc로 로컬 빌드합니다:

curl -fsSL https://raw.githubusercontent.com/warpfront/hipfire/v0.4.2/scripts/install.sh | bash

Windows – 소스 빌드 지침은 GETTING_STARTED.md에 있습니다.
NixOS – 선언적 설치를 위한 flake 및 모듈 제공.
컨테이너 – Containerfile이 런타임 이미지를 빌드합니다. /dev/kfd 및 /dev/dri 장치를 노출하여 실행합니다.

해당 스크립트로 제거합니다. --purge는 ~/.hipfire도 제거합니다.

문서 및 커뮤니티

문서 – README에 전체 목차가 있습니다. 주제에는 모델 선택, 양자화, 구성, 서빙, 멀티 GPU 병렬 처리, 이미지 생성, 아키텍처 세부 사항, 벤치마킹 방법론, 검증 규칙이 포함됩니다.
Discord – 활성 채팅: https://discord.gg/F3BaywB8Rs.
PeaceMaker – 커널 툴체인은 별도 리포지토리(warpfront/peacemaker)로도 출시됩니다.

라이선스

hipfire는 Apache-2.0(v0.3.0부터)입니다. 이전 릴리스는 MIT/Apache-2.0 이중 라이선스였습니다. 일부 소스 파일은 LLVM 예외가 있는 MIT를 유지합니다.

요약

hipfire는 Python이나 CUDA 레이어 없이 AMD GPU(RDNA 1-4, CDNA)에서 직접 실행되는 프로덕션 등급의 Rust 기반 LLM 추론 엔진입니다. 선별된 모델 레지스트리, 기능이 풍부한 CLI, OpenAI 호환 서버, 사용자 정의 커널 툴체인(PeaceMaker), 리플레이 최적화 디스패처(Redline)를 제공합니다. AMD GPU가 있고 로컬에서 대규모 언어 모델을 실행하려는 경우, hipfire는 현재 사용 가능한 가장 완벽한 오픈소스 솔루션입니다.