withcatai/node-llama-cpp

Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level

它解决了什么

它提供了一种在本机使用 Node.js 运行大型语言模型（LLM）的方式，省去复杂的设置或外部 API。通过预构建二进制文件和自动硬件加速，简化了 AI 模型在 JavaScript/TypeScript 项目中的集成。

它如何工作

该项目充当 llama.cpp 的绑定集合，允许 Node.js 开发者加载并运行 GGUF 格式的模型。它会自动检测并使用可用的硬件加速（Metal、CUDA、Vulkan）以优化性能，并提供 CLI 供用户无需编写代码即可即时与模型交互。

适用人群

想在应用中集成本地 LLM、且不想管理 llama.cpp 复杂 C++ 构建过程或依赖云端 AI 服务的 Node.js 与 TypeScript 开发者。

亮点

  • 硬件加速：原生支持 Metal、CUDA 和 Vulkan，加快本地推理速度。
  • 结构化输出：能够强制返回 JSON 响应或遵循特定 JSON schema。
  • 代理能力：支持函数调用，让模型能够与外部工具交互。
  • 开发者体验：完整的 TypeScript 支持，并提供 macOS、Linux、Windows 的预构建二进制文件。
  • 高级特性：包括嵌入向量和重新排序支持。
  • 安全性：防止特殊 token 注入攻击。