ggml-org/ggml

解決的問題

提供一種簡單、可移植且高效的機器學習張量處理方式，無需在實作 ML 模型時進行複雜的設定或依賴重型套件。

工作原理

此庫以純 C/C++ 寫成，為多種架構（x86、ARM、RISC-V）實作 SIMD 最佳化內核，並支援廣泛的後端，包括 CPU、GPU、NPU 與 Web 瀏覽器。它利用 2 至 8 位整數量化與微縮放格式（MXFP4 與 NVFP4）來減少模型大小與記憶體使用量，同時確保執行時零記憶體配置，以達成最大效率。

適用對象

需要輕量級、跨平台的機器學習張量庫，可在從高階硬體到 WebAssembly 各種環境中運行的開發者。

主要亮點

• 廣泛的跨平台支援（x86、ARM、RISC-V、LoongArch、PowerPC、s390x 與 WebAssembly）。
• 執行時零記憶體配置。
• 支援 2 至 8 位整數量化。
• 無外部依賴。