zolotukhin/zinc

何を解決するか

ZINCは、幅広いコンシューマーGPU上でGGUFモデルを実行するために設計された、高性能なローカル推論エンジンです。特にROCmを使用するAMD Radeonハードウェア上で、既存のツール（例：llama.cpp）よりも高速な代替手段を提供することを目指しています。

動作方法

Zigで書かれたZINCは、単一のバイナリであり、コマンドラインインターフェース、ブラウザベースのチャットインターフェース、GGUFファイルのダウンロードおよび管理を行うモデルマネージャ、OpenAI互換APIサーバーを統合しています。Vulkan（AMD/Intel）、ROCm/HIP（AMD）、Metal（Apple Silicon）、CUDA（NVIDIA、実験的）など、複数のGPUバックエンドをサポートしています。

対象ユーザー

AMDまたはApple Silicon GPUを使用している開発者やAI愛好家で、自宅のハードウェア上でLLMを高パフォーマンスでローカルに実行したい人。

特徴

• 複数のGPUパス向けのネイティブカーネルによる高速GGUF推論。
• 他のアプリケーションへの簡単な統合を可能にするOpenAI互換API。
• 即時利用可能な統合モデルマネージャーとブラウザチャット。
• AMD、Intel、Apple、NVIDIA GPUにわたる広範なハードウェアサポート。