peonist-ai/halogen-flash-server

Local inference that behaves like a frontier API: Qwen3.8-Flash-Next on AMD Strix Halo plus small NPU models, over the OpenAI and Anthropic APIs on one port.

halogen‑flash‑server – AMD Strix Halo 上での Qwen 3.8‑Flash‑Next 超高速推論

概要 – 単一の AMD Strix Halo GPU 上で Qwen 3.8‑Flash‑Next 大規模言語モデルを実行するために構築された専用サーバーです。コードにはその特定のシリコンとモデルファミリーに合わせて調整されたカスタムカーネルが含まれており、約 1.6 秒でリクエストへの応答を開始し、非常に高いトークンスループット（反復テキストで最大 94 tokens / s、長いプリフィルで 1 800 tokens / s 以上）を維持できます。

重要性 – 汎用ランタイム（vLLM, llama.cpp など）は多くの GPU やモデルをサポートする必要があり、オーバーヘッドが発生します。移植性レイヤーを排除し、単一の GPU のみにカーネルを記述することで、halogen は他のサーバーでは不可能な速度を達成しており、非常に長いコンテキストウィンドウ（30 k–96 k トークン）で低レイテンシを必要とする AI エージェントにとって魅力的です。

主な機能（README に記載）

機能	詳細
モデルサポート	Qwen 3.8‑Flash‑Next (v2 checkpoint) を標準サポート。互換性のある `llama.cpp` GGUF ファイル（Unsloth の `UD‑IQ4_XS` など）も読み込み可能。
スループット	プリフィル: 1 821 tok/s (8 k プロンプト) → 1 675 tok/s (131 k プロンプト)。デコード: 反復出力で最大 94 tok/s、コードで 73 tok/s、散文で 54 tok/s。
レイテンシ	エージェントターンの初回トークンは約 1.6 秒で到着。フルターン（約 200 トークンの回答）は約 4.2 秒で完了。34 k‑token プロンプトのコールドスタートは約 21 秒。
コンテキスト長	特別な設定で最大 1 M トークンをサポート。通常は 32 k–131 k トークンのプロンプトを使用。
精度	デフォルトのチェックポイントで 4.16 bits per weight (bpw)。FP8 n‑gram ルックアップを含む全 179.55 B パラメータで 5.25 bpw。
推論デコード	ドラフトヘッド（モデル提供またはリクエスト提供）を使用して、出力品質を犠牲にすることなく貪欲デコードを高速化。
API	OpenAI 互換の HTTP エンドポイント（completion, chat, embeddings, classifier, image generation など）。詳細は `docs/api.md` を参照。
設定	キャッシュモード、KV‑pool サイズ、ディスクベースのプロンプトキャッシュ、トークン予算制限、オプションの API‑key 強制、リクエストログ。
デプロイ	コンテナイメージ (`ghcr.io/peonist-ai/halogen-flash-server`) として配布。クイックスタートスクリプトで、Podman (または Docker) を使用して `/dev/kfd` と `/dev/dri` を介して GPU を公開する方法を説明。
ハードウェア要件	AMD Ryzen AI Max+ 395 (Strix Halo) と 128 GB 以上の RAM。BIOS UMA フレームバッファは最小に設定し、エンジンが専用 VRAM ではなくホスト RAM を使用できるようにする必要あり。

標準的なワークフロー

ホストの準備 – BIOS UMA の割り当てを最小にし、コンテナランタイムをインストールし、/dev/kfd と /dev/dri にアクセスできることを確認します。
イメージのプル – podman pull ghcr.io/peonist-ai/halogen-flash-server:0.18.1。
コンテナの実行 – クイックスタートコマンドを使用（モデルウェイト用にローカルの ~/halogen-models ディレクトリをマウントし、8731 ポートを公開し、HALOGEN_DOWNLOAD 環境変数を渡して公式 Qwen ウェイトを取得）。
API の呼び出し – クライアントライブラリから OpenAI スタイルのリクエスト（POST /v1/chat/completions など）を送信。エージェントの場合、毎ターン完全な会話履歴を送信すると、サーバーが数秒で回答を返します。
チューニング – より長いウィンドウが必要な場合は、docs/configuration.md を通じてキャッシュモード、KV‑pool サイズの調整、または 1 M‑token コンテキストの有効化を行います。

リソース

ドキュメントサイト – https://peonist-ai.github.io/halogen-flash-server/ (検索可能)。
クイックスタート – docs/getting-started.md (README に Docker/Podman コマンドが含まれています)。
エージェントガイド – AGENTS.md で、サーバーを自律型コーディングエージェントに接続する方法を説明。
パフォーマンス数値 – docs/performance.md で、単一コマンドでスループット/レイテンシを再現可能。
トラブルシューティング – docs/troubleshooting.md で、起動失敗、SELinux の問題、長いプロンプトでのハングアップをカバー。

コミュニティとサポート

Discord – https://discord.gg/bcm6QknaV6 – リアルタイムのヘルプ、ベンチマーク共有、ハードウェア固有のヒント。
GitHub Issues – バグやリグレッション用。リポジトリの CONTRIBUTING.md に提供すべき情報が記載されています。
セキュリティ – メンテナーに直接報告（公開 issue はなし）。

ライセンス

エンジン自体は LICENSE.md のライセンス（寛容なオープンソースライセンス）でリリースされています。サードパーティコンポーネントは THIRD-PARTY-NOTICES.md に記載されています。モデルウェイトはバンドルされておらず、元の著者のライセンスに従い別途取得する必要があります（README のクイックスタートは peonist-ai/halogen-qwen3.8-flash-next イメージから取得します）。

結論

halogen‑flash‑server は、単一の AMD Strix Halo GPU から Qwen 3.8‑Flash‑Next モデルの最大速度を引き出す、高度に専門化された推論サーバーです。サブ秒の初回トークンレイテンシを必要とし、ハードウェア固定のデプロイを許容できる AI エージェント開発者を対象としています。詳細なドキュメント、すぐに実行可能なコンテナイメージ、および活発な Discord コミュニティによるサポートを提供しています。