zolotukhin/zinc

解決的問題

ZINC 是一個高效率的本地推論引擎，專為在多種消費級 GPU 上執行 GGUF 模型而設計。其目標是為使用 ROCm 的 AMD Radeon 硬體提供比現有工具（例如 llama.cpp）更快的替代方案。

工作原理

ZINC 使用 Zig 語言撰寫，是一個單一二進位檔，整合了多個組件：命令列介面、基於瀏覽器的聊天介面、用於下載和管理 GGUF 檔案的模型管理器，以及 OpenAI 相容的 API 伺服器。支援多種 GPU 後端，包括 Vulkan（AMD/Intel）、ROCm/HIP（AMD）、Metal（Apple Silicon）和 CUDA（NVIDIA，實驗性）。

適用對象

希望在自家硬體上以高效率本地執行 LLM 的開發者與 AI 愛好者，特別是使用 AMD 或 Apple Silicon GPU 的使用者。

主要特色

• 適用於多種 GPU 路徑的原生核心，實現快速 GGUF 推論。
• OpenAI 相容 API，方便整合至其他應用程式。
• 內建模型管理器與瀏覽器聊天，可立即使用。
• 支援 AMD、Intel、Apple 及 NVIDIA GPU 的廣泛硬體陣容。