zolotukhin/zinc

해결하는 문제

ZINC은 다양한 소비자 GPU에서 GGUF 모델을 실행하기 위해 설계된 고성능 로컬 추론 엔진입니다. 특히 ROCm를 사용하는 AMD Radeon 하드웨어에서 기존 도구(예: llama.cpp)보다 더 빠른 대안을 제공하는 것을 목표로 합니다.

작동 방식

Zig로 작성된 ZINC은 단일 바이너리로, 명령줄 인터페이스, 브라우저 기반 채팅 인터페이스, GGUF 파일의 다운로드 및 관리 기능을 갖춘 모델 매니저, OpenAI 호환 API 서버를 통합하고 있습니다. Vulkan(AMD/Intel), ROCm/HIP(AMD), Metal(Apple Silicon), CUDA(NVIDIA, 실험적) 등 여러 GPU 백엔드를 지원합니다.

대상 사용자

AMD 또는 Apple Silicon GPU를 사용하는 개발자 및 AI 애호가로, 자신의 하드웨어에서 고성능으로 LLM을 로컬로 실행하고자 하는 사람들을 대상으로 합니다.

주요 특징

• 다양한 GPU 경로를 위한 네이티브 커널을 활용한 빠른 GGUF 추론.
• 다른 애플리케이션에 쉽게 통합할 수 있는 OpenAI 호환 API.
• 즉시 사용 가능한 통합 모델 매니저와 브라우저 채팅.
• AMD, Intel, Apple, NVIDIA GPU에 걸친 광범위한 하드웨어 지원.