llmware-ai/llmware

Unified framework for building enterprise RAG pipelines with small, specialized models

What it solves

llmware 是一個統一的框架，旨在構建本地、私有且安全的知識驅動 LLM 應用。它解決了在邊緣（AI PC、筆記型電腦）和自行託管環境中部署生成式 AI 的挑戰，同時保持低計算資源占用並降低成本。

How it works

此框架由兩個主要組件構成：

  1. Model Catalog：一個集中式的超過 300 個模型的庫，包含 50 多個專門微調模型（SLIM、Bling、Dragon、Industry‑Bert）用於企業自動化。它提供高層介面，可在各種格式（GGUF、OpenVINO、ONNXRuntime、Pytorch）和平台（Windows、Mac、Linux）上載入與執行模型。
  2. RAG Pipeline：一套整合的檢索增強生成全生命週期系統。包括解析各種文件類型（PDF、PPTX、DOCX 等）的工具、文本切分，以及建立可擴展知識庫（libraries）的功能，支援多種向量資料庫（如 Milvus、ChromaDB）。

Who it’s for

開發者與企業使用者，需構建私有、裝置端 AI 應用，利用自有內部知識來源，而不必完全依賴雲端 LLM。

Highlights

  • Broad Hardware Support：針對 AI PC 與筆記型電腦上的 NPU 與 GPU 進行最佳化，支援 GGUF、OpenVINO 與 ONNXRuntime。
  • Extensive Model Library：提供 300 多個預打包、量化模型，並支援主要雲端 API（OpenAI、Anthropic、Google）。
  • Versatile Ingestion：通用的 ingest 功能，可從本機資料夾解析並切分混合檔案類型。
  • RAG‑Optimized Models：專為本地 RAG 工作流程設計的 1‑7B 參數模型。
  • Fact‑Checking：內建對生成回應與來源資料進行證據核查的能力。