ggml-org/llama.cpp

해결하는 문제

llama.cpp는 다양한 하드웨어에서 최소한의 설정으로 고성능으로 대규모 언어 모델(LLMs)과 시각 언어 모델(VLMs)을 로컬에서 실행할 수 있는 방법을 제공합니다. 무거운 종속성 없이 사용자가 노트북이나 클라우드 서버를 포함한 자신의 기기에서 강력한 AI 모델을 실행할 수 있습니다.

작동 방식

순수한 C/C++로 작성된 이 프로젝트는 ggml 라이브러리 위에 구축되어 있습니다. 1.5비트에서 8비트까지의 고급 양자화를 사용하여 메모리 사용량을 줄이고 추론 속도를 높입니다. 성능을 극대화하기 위해 Apple Silicon(Metal), NVIDIA GPU(CUDA), AMD GPU(HIP), 다양한 CPU 명령어(AVX, RVV)에 특화된 최적화가 포함되어 있습니다.

대상 사용자

클라우드 API에 의존하지 않고 로컬에서 LLM과 VLM을 실행하고 싶은 개발자 및 AI 애호가, 그리고 소비자용 하드웨어에서 추론 성능을 최적화하고자 하는 사용자에게 적합합니다.

주요 특징

• 광범위한 하드웨어 지원: CUDA, Metal, Vulkan, SYCL 및 다양한 CPU(x86, RISC-V, Apple Silicon)를 포함한 방대한 백엔드를 지원합니다.
• 양자화: 1.5비트에서 8비트까지의 다양한 정수 양자화 수준을 제공하여 더 큰 모델을 더 작은 메모리에 맞출 수 있습니다.
• 의존성 없음: 외부 종속성이 없는 순수한 C/C++ 구현입니다.
• OpenAI 호환 API: OpenAI 호환 REST API를 제공하는 서버 모드(llama serve)를 포함합니다.
• 하이브리드 추론: VRAM 총 용량을 초과하는 모델을 실행할 수 있도록 CPU+GPU 하이브리드 추론을 지원합니다.