withcatai/node-llama-cpp

Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level

해결하는 문제

Node.js를 사용해 로컬 머신에서 대규모 언어 모델(LLM)을 실행할 수 있는 방법을 제공하여 복잡한 설정이나 외부 API가 필요 없게 합니다. 사전 빌드된 바이너리와 자동 하드웨어 가속을 통해 AI 모델을 JavaScript/TypeScript 프로젝트에 쉽게 통합할 수 있습니다.

작동 방식

이 프로젝트는 llama.cpp에 대한 바인딩 세트 역할을 하여 Node.js 개발자가 GGUF 형식의 모델을 로드하고 실행할 수 있게 합니다. 사용 가능한 하드웨어 가속(Metal, CUDA, Vulkan)을 자동으로 감지하고 활용해 성능을 최적화합니다. 또한 코드를 작성하지 않고도 모델과 즉시 상호작용할 수 있는 CLI를 포함하고 있습니다.

대상 사용자

llama.cpp의 복잡한 C++ 빌드 과정을 관리하지 않으면서 로컬 LLM을 애플리케이션에 통합하고 싶거나 클라우드 기반 AI 서비스에 의존하고 싶지 않은 Node.js 및 TypeScript 개발자에게 적합합니다.

주요 특징

하드웨어 가속: Metal, CUDA, Vulkan을 네이티브 지원하여 로컬 추론 속도를 높입니다.
구조화된 출력: JSON 응답을 강제하거나 특정 JSON 스키마를 따르게 할 수 있습니다.
에이전트 기능: 함수 호출을 지원해 모델이 외부 도구와 상호작용할 수 있습니다.
개발자 경험: 완전한 TypeScript 지원과 macOS, Linux, Windows용 사전 빌드 바이너리를 제공합니다.
고급 기능: 임베딩 및 재랭킹 지원을 포함합니다.
보안: 특수 토큰 삽입 공격으로부터 보호합니다.