ggml-org/ggml

何を解決するか

機械学習におけるテンソルを扱うためのシンプルでポータブルかつ効率的な方法を提供し、MLモデルの実装時に複雑な設定や重い依存関係を必要としなくなります。

動作方法

プレーンなC/C++で記述されたこのライブラリは、さまざまなアーキテクチャ（x86、ARM、RISC-V）向けにSIMD最適化されたカーネルを実装しており、CPU、GPU、NPU、Webブラウザなど広範なバックエンドをサポートしています。2〜8ビット整数量子化およびマイクロスケーリング形式（MXFP4およびNVFP4）を活用してモデルサイズとメモリ使用量を削減しつつ、実行時におけるゼロメモリ割り当てを確保し、最大限の効率を実現します。

対象ユーザー

ハイエンドハードウェアからWebAssemblyまで、あらゆる環境で動作する軽量でクロスプラットフォームな機械学習用テンソルライブラリを必要とする開発者。

特徴

• 広範なクロスプラットフォーム対応（x86、ARM、RISC-V、LoongArch、PowerPC、s390x、およびWebAssembly）。
• 実行時におけるゼロメモリ割り当て。
• 2〜8ビット整数量子化のサポート。
• 外部依存関係なし。