peonist-ai/halogen-flash-server
Local inference that behaves like a frontier API: Qwen3.8-Flash-Next on AMD Strix Halo plus small NPU models, over the OpenAI and Anthropic APIs on one port.
halogen‑flash‑server – AMD Strix Halo에서 Qwen 3.8‑Flash‑Next를 위한 초고속 추론
소개 – 단일 AMD Strix Halo GPU에서 Qwen 3.8‑Flash‑Next 대규모 언어 모델을 실행하기 위해 특별히 제작된 서버입니다. 이 코드는 해당 특정 실리콘 및 모델 제품군에 맞춰 튜닝된 커스텀 커널을 포함하고 있어, 약 1.6초 만에 요청에 응답하기 시작하며 매우 높은 토큰 처리량(반복 텍스트의 경우 최대 94 tokens / s, 긴 프리필의 경우 1 800 tokens / s 이상)을 유지할 수 있습니다.
중요성 – 범용 런타임(vLLM, llama.cpp 등)은 많은 GPU와 모델을 지원해야 하므로 오버헤드가 발생합니다. 이식성 계층을 제거하고 단일 GPU 전용 커널을 작성함으로써, halogen은 다른 서버가 따라올 수 없는 속도를 달성했습니다. 이는 매우 긴 컨텍스트 윈도우(30 k–96 k 토큰)에서 낮은 지연 시간이 필요한 AI 에이전트에게 매우 매력적입니다.
주요 기능 (README 참조)
| 기능 | 상세 내용 |
|---|---|
| 모델 지원 | Qwen 3.8‑Flash‑Next (v2 checkpoint) 기본 지원; 호환되는 llama.cpp GGUF 파일(예: Unsloth의 UD‑IQ4_XS) 로드 가능. |
| 처리량 | 프리필: 1 821 tok/s (8 k 프롬프트) → 1 675 tok/s (131 k 프롬프트). 디코드: 반복 출력 시 최대 94 tok/s; 코드 73 tok/s, 산문 54 tok/s. |
| 지연 시간 | 에이전트 턴의 첫 토큰 도착까지 약 1.6초; 전체 턴(약 200 토큰 답변) 완료까지 약 4.2초. 34 k‑token 프롬프트의 콜드 스타트 약 21초. |
| 컨텍스트 길이 | 특수 설정으로 최대 1 M 토큰 지원; 일반적인 실행은 32 k–131 k 토큰 프롬프트 사용. |
| 정밀도 | 기본 체크포인트 4.16 bits per weight (bpw); FP8 n‑gram 룩업을 포함한 179.55 B 파라미터 전체 계산 시 5.25 bpw. |
| 추측 디코딩 | 출력 품질 저하 없이 탐욕적 디코딩을 가속하기 위해 드래프트 헤드(모델 제공 또는 요청 제공) 사용. |
| API | OpenAI 호환 HTTP 엔드포인트(completion, chat, embeddings, classifier, image generation 등). 상세 엔드포인트 문서는 docs/api.md 참조. |
| 설정 | 캐시 모드, KV‑pool 크기, 디스크 기반 프롬프트 캐시, 토큰 예산 제한, 선택적 API‑key 강제, 요청 로깅. |
| 배포 | 컨테이너 이미지(ghcr.io/peonist-ai/halogen-flash-server)로 배포. 퀵스타트 스크립트는 Podman(또는 Docker)을 사용하여 /dev/kfd 및 /dev/dri를 통해 GPU를 노출하는 방법을 보여줌. |
| 하드웨어 요구사항 | AMD Ryzen AI Max+ 395 (Strix Halo) 및 최소 128 GB RAM; BIOS UMA 프레임 버퍼를 최소로 설정하여 엔진이 전용 VRAM 대신 호스트 RAM을 사용하도록 해야 함. |
일반적인 워크플로우
- 호스트 준비 – BIOS UMA 설정을 최소로 하고, 컨테이너 런타임을 설치하며,
/dev/kfd및/dev/dri에 접근 가능한지 확인합니다. - 이미지 풀 –
podman pull ghcr.io/peonist-ai/halogen-flash-server:0.18.1. - 컨테이너 실행 – 퀵스타트 명령 사용(모델 가중치를 위해 로컬
~/halogen-models디렉토리를 마운트하고, 8731 포트를 노출하며,HALOGEN_DOWNLOAD환경 변수를 전달하여 공식 Qwen 가중치 다운로드). - API 호출 – 클라이언트 라이브러리에서 OpenAI 스타일 요청(
POST /v1/chat/completions등)을 보냅니다. 에이전트의 경우 매 턴 전체 대화 기록을 보내면 서버가 몇 초 내에 답변을 반환합니다. - 튜닝 – 더 긴 윈도우가 필요한 경우
docs/configuration.md를 통해 캐시 모드, KV‑pool 크기를 조정하거나 1 M‑token 컨텍스트를 활성화합니다.
시작하기 리소스
- 문서 사이트 – https://peonist-ai.github.io/halogen-flash-server/ (검색 가능).
- 퀵스타트 –
docs/getting-started.md(README에 Docker/Podman 명령 포함). - 에이전트 가이드 –
AGENTS.md에서 서버를 자율 코딩 에이전트에 연결하는 방법 설명. - 성능 수치 –
docs/performance.md에서 단일 명령으로 처리량/지연 시간 재현 가능. - 문제 해결 –
docs/troubleshooting.md에서 일반적인 시작 실패, SELinux 문제, 긴 프롬프트 멈춤 현상 해결.
커뮤니티 및 지원
- Discord – https://discord.gg/bcm6QknaV6 – 실시간 도움말, 벤치마크 공유, 하드웨어별 팁.
- GitHub Issues – 버그 및 회귀 문제 보고용; 저장소의
CONTRIBUTING.md에 제공해야 할 정보가 명시되어 있음. - 보안 – 관리자에게 직접 보고(공개 이슈 없음).
라이선스
엔진 자체는 LICENSE.md의 라이선스(허용적인 오픈 소스 라이선스)에 따라 배포됩니다. 타사 구성 요소는 THIRD-PARTY-NOTICES.md에 나열되어 있습니다. 모델 가중치는 번들로 제공되지 않으며 원저작자의 라이선스에 따라 별도로 획득해야 합니다(README의 퀵스타트는 peonist-ai/halogen-qwen3.8-flash-next 이미지에서 가져옴).
결론
halogen‑flash‑server는 단일 AMD Strix Halo GPU에서 Qwen 3.8‑Flash‑Next 모델의 최대 성능을 끌어내는 고도로 전문화된 추론 서버입니다. 서브초 단위의 첫 토큰 지연 시간이 필요하고 하드웨어 고정 배포를 수용할 수 있는 AI 에이전트 개발자를 대상으로 합니다. 이 프로젝트는 상세한 문서, 즉시 실행 가능한 컨테이너 이미지, 그리고 활발한 Discord 커뮤니티 지원을 제공합니다.
관련
- 프로젝트
- Dispatch
- 프로젝트
- 프로젝트
- Dispatch