ikawrakow/ik_llama.cpp

何を解決するか

ik_llama.cppは、CPU推論パフォーマンスの向上と最先端の量子化手法の導入を目的に設計された、llama.cppの高パフォーマンスなフォークです。CPUでのより高速なプロンプト処理を提供し、モデルの効率を高めるためにサポートされる量子化タイプの範囲を拡大することで、メインライン版の制限に対処します。

仕組み

このプロジェクトは、さまざまな高度な量子化カーネルと最適化を実装しています。行列乗算を加速するために、特化したCPUバックエンド（AVX2、AVX-512、およびARM_NEON）とCUDA（Turing以降）を使用します。主な技術的実装には、Trellis quants、IQK quants、およびK-cacheとV-cacheのためのHadamard transformsが含まれるほか、マルチGPU構成用の"graph" split modeや、MoEおよびdenseモデル用のauto-fit VRAM offloadingが含まれます。

対象ユーザー

コンシューマー向けハードウェアで大規模言語モデル（LLM）をより高い効率で実行したいユーザー、特にCPU主体の推論やCPU/GPUハイブリッド構成に依存しているユーザー、およびMTP decodingやfused delta-netsのような新しい推論機能への早期アクセスを必要とする開発者です。

ハイライト

• 強化されたCPUパフォーマンス: 非インターリーブ量子化（non-interleaved quants）およびMoEモデルにおけるプロンプト処理の顕著な高速化。
• 高度な量子化: Trellis quants (IQ1_KTからIQ4_KT)、IQK quants、およびMXFP4のサポート。
• 幅広いモデルサポート: DeepSeek-V3/V4、Qwen3、Gemma 4、およびLlama-4を含む、幅広い最新モデルとの互換性。
• 推論機能: MTP decoding、self-speculative decoding、およびMCPサポートを備えた組み込みのWebUIが含まれます。
• ハードウェア最適化: AVX-512 (Zen4/Sapphire Rapids+) および CUDA Turing+ GPUへの特化したサポート。