ggml-org/llama.cpp

何を解決するか

llama.cpp は、広範なハードウェア上で最小限の設定で高パフォーマンスで大規模言語モデル（LLMs）および視覚言語モデル（VLMs）をローカルで実行する方法を提供します。重い依存関係を必要としないため、ノートPCやクラウドサーバーを含む自宅のマシンで強力なAIモデルを実行できます。

動作方法

純粋なC/C++で書かれたこのプロジェクトは、ggmlライブラリの上に構築されています。1.5ビットから8ビットまでの高度な量子化を使用して、メモリ使用量を削減し、推論速度を向上させます。パフォーマンスを最大化するために、Apple Silicon（Metal）、NVIDIA GPU（CUDA）、AMD GPU（HIP）、およびさまざまなCPU命令（AVX、RVV）向けの特別な最適化が含まれています。

対象ユーザー

クラウドAPIに依存せずにLLMsやVLMsをローカルで実行したい開発者やAI愛好家、また、一般消費者向けハードウェア上で推論パフォーマンスを最適化したい人向けです。

主な特徴

• 広範なハードウェア対応: CUDA、Metal、Vulkan、SYCL、およびさまざまなCPU（x86、RISC-V、Apple Silicon）を含む多数のバックエンドをサポート。
• 量子化: 1.5ビットから8ビットまでの複数の整数量子化レベルを提供し、より大きなモデルをより小さなメモリに収めることが可能。
• 依存関係なし: 外部依存関係のない純粋なC/C++実装。
• OpenAI互換API: llama serveというサーバーモードを備え、OpenAI互換のREST APIを提供。
• ハイブリッド推論: CPU+GPUのハイブリッド推論をサポートし、VRAMの合計容量を超えるモデルを実行可能。