llmware-ai/llmware

Unified framework for building enterprise RAG pipelines with small, specialized models

What it solves

llmware는 로컬, 프라이빗, 보안이 보장된 지식 기반 LLM 애플리케이션을 구축하기 위한 통합 프레임워크입니다. 에지(AI PC, 노트북) 및 자체 호스팅 환경에서 생성 AI를 배포하는 어려움을 해결하면서 작은 컴퓨팅 풋프린트를 유지하고 비용을 절감합니다.

How it works

프레임워크는 두 가지 주요 구성 요소로 이루어집니다.

  1. Model Catalog: 300개가 넘는 모델을 중앙 라이브러리로 제공하며, 50개 이상의 특화 파인튜닝 모델(SLIM, Bling, Dragon, Industry‑Bert)을 포함해 기업 자동화에 활용됩니다. GGUF, OpenVINO, ONNXRuntime, Pytorch 등 다양한 포맷과 Windows, Mac, Linux 플랫폼에서 모델을 로드하고 실행할 수 있는 고수준 인터페이스를 제공합니다.
  2. RAG Pipeline: Retrieval‑Augmented Generation 전체 라이프사이클을 통합한 시스템입니다. PDF, PPTX, DOCX 등 다양한 문서 유형을 파싱하고 텍스트를 청크화하며, 확장 가능한 지식 베이스(라이브러리)를 생성하는 도구를 제공하고 Milvus, ChromaDB 등 여러 벡터 데이터베이스를 지원합니다.

Who it’s for

자체 내부 지식을 활용하고 클라우드 기반 LLM에만 의존하지 않는 프라이빗한 디바이스 AI 애플리케이션을 구축하려는 개발자 및 기업 사용자를 위한 솔루션입니다.

Highlights

  • Broad Hardware Support: AI PC와 노트북의 NPU 및 GPU에 최적화되어 GGUF, OpenVINO, ONNXRuntime을 지원합니다.
  • Extensive Model Library: 300개 이상의 사전 패키징·양자화 모델에 접근할 수 있으며 주요 클라우드 API(OpenAI, Anthropic, Google)도 지원합니다.
  • Versatile Ingestion: 로컬 폴더에서 혼합 파일 유형을 파싱하고 청크화하는 범용 ingest 기능.
  • RAG‑Optimized Models: 로컬 RAG 워크플로우에 특화된 1‑7B 파라미터 모델.
  • Fact‑Checking: 생성된 응답을 소스 자료와 대조하여 증거 검증을 수행하는 내장 기능.