ggml 1.0.0 リリースノート

概要

ggml 1.0.0は、テンソルライブラリにとって重要なマイルストーンであり、APIの安定化、パフォーマンスチューニング、およびハードウェアサポートの拡大に重点を置いています。このリリースでは、非推奨のパブリックAPIとレガシーな操作が削除され、設定可能なYaRN切り捨て(truncation)が導入され、FP8サポートが追加されました。パフォーマンスの向上は広範囲に及び、CUDAやMetalからVulkan、SYCL、OpenCLに至るまでのバックエンドを網羅しており、多様なハードウェア構成においてローカル推論が効率的に維持されることを保証します。

コアおよびAPIの強化

1.0.0リリースでは、コアライブラリの近代化と効率化が優先されています。

  • APIの整理: 非推奨のパブリックAPIおよびレガシーな DIAG_MASK 操作が削除されました。RPCプロトコルがv9に引き上げられ、読み込み時間の短縮と、到達不能なエンドポイントに対するより適切な障害処理が実装されました。
  • YaRN切り捨て: 新しいAPI(ggml_rope_set_truncate および ggml_rope_get_truncate)により、YaRN補正境界の丸め処理を正確に制御できるようになりました。
  • スケジューラの改善: コンピュートスケジューラは、使用されない入力のアップロードをスキップし、以前の分割によって生成された入力のみをプリフェッチするようになり、オーバーヘッドが削減されました。さらに、Mixture-of-Experts (MoE) キャッシュは、モデルがGPUメモリ予算を超えた場合にCPU上でキャッシュミスを非同期に計算できるようになり、完全な失敗を防ぐことができます。

バックエンドのパフォーマンス更新

パフォーマンスの向上はこのリリースの特徴であり、主要な計算プラットフォーム向けに特定の最適化が行われています。

  • CUDA: バッチサイズ2〜24向けの少行行列乗算量子化(MMQ)と、BF16行列乗算向けの行列ベクトル融合(MMVF)が追加されました。OCP FP8および融合NVFP4ゲート/アップ行列乗算のサポートが実装され、グラフ再利用ロジックも改善されました。
  • Metal: Apple Siliconでのスループットを向上させるため、融合MoEルーティングと最適化されたコマンドバッファ管理が導入されました。
  • Vulkan: Intel FlashAttentionプリフィルカーネルが追加され、CM2による量子化解除KVが有効になりました。RDNA3/4アーキテクチャでのラージタイル分割Kのサポートにより、最新のAMDハードウェアでのパフォーマンスが向上しました。
  • SYCL & OpenCL: SYCLはデバイス側のMoEスケジューラを備え、OpenCLには分解されたAdreno FlashAttentionと、モバイルチップセット向けの改善されたマルチカラムGEMVカーネルが含まれています。
  • Hexagon & CPU: Hexagonの演算カバレッジが拡大され、SpacemiT RVVおよびARM NEONアーキテクチャ向けの最適化が追加され、モバイルおよび組み込みプロセッサへの幅広いサポートが確保されました。

コミュニティの洞察

ライブラリのユーザーは、プロジェクトが提供する一貫したパフォーマンス向上を高く評価しています。長年の貢献者やユーザーは、反復的な最適化を通じて、既存のハードウェア上で5〜10%の速度向上が頻繁に達成されていると指摘しています。

"このプロジェクトとllama.cppの本当に素晴らしい点は、同じハードウェア上でコードを高速化する新しい方法を見つけ続けていることです。アップグレードするたびに(月に1回程度)、通常5〜10%の速度向上が見られます。" — @jacquesm

このプロジェクトはエンジニアリングの面で広く称賛されていますが、コミュニティの議論の一部はプロジェクトのアーキテクチャの進化に集中しています。ユーザーは、VRAMを超えるMoEモデルをホストメモリにオフロードして処理できるライブラリの能力が、コンシューマー向けハードウェアにとって重要な機能であると指摘しています。

Sources

関連

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch