ggml 1.0.0 版本说明

概述

ggml 1.0.0 是该张量库的一个重要里程碑,重点在于 API 稳定性、性能调优以及扩展的硬件支持。此版本精简了已弃用的公共 API 和遗留操作,引入了可配置的 YaRN 截断,并增加了对 FP8 的支持。性能提升涵盖了从 CUDA 和 Metal 到 Vulkan、SYCL 和 OpenCL 等多个后端,确保本地推理在各种硬件配置下都能保持高效。

核心与 API 增强

1.0.0 版本优先考虑了核心库的现代化与效率:

  • API 清理: 移除了已弃用的公共 API 和遗留的 DIAG_MASK 操作。RPC 协议已升级至 v9,改善了加载时间,并为无法访问的端点实现了更优雅的故障处理。
  • YaRN 截断: 新的 API(ggml_rope_set_truncate 和 ggml_rope_get_truncate)允许对 YaRN 校正边界舍入进行精确控制。
  • 调度器改进: 计算调度器现在会跳过上传未使用的输入,并仅预取由早期拆分产生的输入,从而减少开销。此外,混合专家模型(MoE)缓存现在可以在 CPU 上异步计算缓存缺失,防止模型超出 GPU 内存预算时导致完全失败。

后端性能更新

性能提升是此版本的标志,针对主要计算平台进行了特定的优化:

  • CUDA: 为批处理大小 2-24 添加了少行矩阵乘法量化(MMQ),并为 BF16 矩阵乘法添加了矩阵-向量融合(MMVF)。实现了对 OCP FP8 和融合 NVFP4 门控/上行矩阵乘法的支持,并改进了图重用逻辑。
  • Metal: 引入了融合 MoE 路由和优化的命令缓冲区管理,以提高 Apple Silicon 上的吞吐量。
  • Vulkan: 添加了 Intel FlashAttention 预填充内核,并启用了带有 CM2 的反量化 KV。对 RDNA3/4 架构的大瓦片 split-K 支持提升了现代 AMD 硬件上的性能。
  • SYCL & OpenCL: SYCL 现在具备设备端 MoE 调度器,而 OpenCL 包含了分解的 Adreno FlashAttention 以及针对移动芯片组改进的多列 GEMV 内核。
  • Hexagon & CPU: 扩展了 Hexagon 操作覆盖范围,并针对 SpacemiT RVV 和 ARM NEON 架构进行了优化,确保了对移动和嵌入式处理器的广泛支持。

社区见解

该库的用户强调了项目所带来的持续性能提升。长期贡献者和用户指出,通过迭代优化,该库经常能在现有硬件上实现 5-10% 的速度提升。

"这个项目以及 llama.cpp 最令人印象深刻的地方在于,他们不断找到在同一硬件上加速代码的新方法。每次我升级(大约一个月一次)时,通常都会有 5% 到 10% 的速度提升。" — @jacquesm

虽然该项目因其工程设计而广受赞誉,但一些社区讨论集中在项目架构的演进上。用户指出,该库通过卸载到主机内存来处理超出 VRAM 的 MoE 模型的能力,是消费级硬件的一项关键功能。

Sources

相关