zolotukhin/zinc

Zig INferenCe Engine — Local LLM inference on AMD GPUs and Apple Silicon

What it solves

ZINC は、消費者向け GPU（特に AMD RDNA3/RDNA4 と Intel Arc）におけるローカル LLM 推論の性能ギャップを埋めます。これらの GPU は帯域幅や VRAM を備えているものの、最適化されたソフトウェアスタックが不足しています。vLLM のようなツールは ROCm が必要で（これらのカードは未対応）、他のエンジンは汎用バックエンドを使用し、アーキテクチャ固有の機能を活かせません。

How it works

ZINC は Zig で実装された高性能推論エンジンで、汎用の互換レイヤーではなく、ハードウェアごとに手調整したシェーダを使用します:

  • AMD GPUs: Vulkan コンピュートを使用し、wave64、cooperative matrix、アーキテクチャ認識のタイル処理を活用。
  • Intel Arc: Linux 用 Vulkan ランタイムを使用し、Arc 認識のデバイス検出とチューニングを実装。
  • Apple Silicon: ネイティブ Metal Shading Language (MSL) カーネルを使用し、simdgroup リダクションとゼロコピー mmap によるモデルロードを実現。

単一バイナリとして動作し、Python や ROCm などの重いドライバスタックに依存せず、GGUF 形式のモデルをロードし、OpenAI 互換 API と組み込みチャット UI を提供します。

Who it’s for

AMD RDNA3/RDNA4、Intel Arc、または Apple Silicon GPU 上でローカル LLM を実行し、複雑なセットアップなしで最大の推論速度（デコードとプリフィル）を求めるユーザー向けです。

Highlights

  • ハードウェア固有のチューニング: AMD RDNA4 上で複数モデルのデコード、プリフィル、エンドツーエンド指標が llama.cpp を上回ります。
  • ゼロ依存ランタイム: Zig でビルドされ、ROCｍ や Python のインストールは不要です。
  • 広範な互換性: GGUF モデルをサポートし、OpenAI 互換の /v1 API を提供します。
  • 統合ツール: 管理されたモデルカタログ（pull、list）と組み込みのブラウザベースチャットインターフェースを含みます。