llmware-ai/llmware

Unified framework for building enterprise RAG pipelines with small, specialized models

What it solves

llmware 是一个统一的框架，旨在构建本地、私有且安全的知识驱动 LLM 应用。它解决了在边缘（AI PC、笔记本电脑）和自托管环境中部署生成式 AI 的挑战，同时保持低计算资源占用并降低成本。

How it works

此框架由两个主要组件构成：

  1. Model Catalog：一个集中式的超过 300 个模型的库，包含 50 多个专门微调模型（SLIM、Bling、Dragon、Industry‑Bert）用于企业自动化。它提供高层接口，可在各种格式（GGUF、OpenVINO、ONNXRuntime、Pytorch）和平台（Windows、Mac、Linux）上加载与运行模型。
  2. RAG Pipeline：一套集成的检索增强生成全生命周期系统。包括解析各种文件类型（PDF、PPTX、DOCX 等）的工具、文本切分，以及建立可扩展知识库（libraries）的功能，支持多种向量数据库（如 Milvus、ChromaDB）。

Who it’s for

开发者与企业用户，需要构建私有、设备端 AI 应用，利用自有内部知识来源，而不必完全依赖云端 LLM。

Highlights

  • Broad Hardware Support：针对 AI PC 与笔记本电脑上的 NPU 与 GPU 进行优化，支持 GGUF、OpenVINO 与 ONNXRuntime。
  • Extensive Model Library：提供 300 多个预打包、量化模型，并支持主要云端 API（OpenAI、Anthropic、Google）。
  • Versatile Ingestion：通用的 ingest 功能，可从本机文件夹解析并切分混合文件类型。
  • RAG‑Optimized Models：专为本地 RAG 工作流设计的 1‑7B 参数模型。
  • Fact‑Checking：内建对生成响应与来源材料进行证据核查的能力。