llmware-ai/llmware

Unified framework for building enterprise RAG pipelines with small, specialized models

What it solves

llmware は、ローカル・プライベート・セキュアなナレッジベースLLMアプリケーションを構築するための統合フレームワークです。エッジ（AI PC、ノートPC）やセルフホスト環境で生成AIを展開する際の課題を解決し、低い計算リソースフットプリントとコスト削減を実現します。

How it works

フレームワークは主に2つのコンポーネントから構成されます。

  1. Model Catalog：300以上のモデルを集約した中央ライブラリで、50以上の専門チューニングモデル（SLIM、Bling、Dragon、Industry‑Bert）を含み、エンタープライズ自動化に活用できます。GGUF、OpenVINO、ONNXRuntime、Pytorch など様々なフォーマットや、Windows、Mac、Linux といったプラットフォーム上でモデルをロード・実行するためのハイレベルインターフェースを提供します。
  2. RAG Pipeline：Retrieval‑Augmented Generation の全ライフサイクルを統合したシステムです。PDF、PPTX、DOCX など多様なドキュメントタイプのパース、テキストのチャンク化、スケーラブルなナレッジベース（ライブラリ）作成を支援し、Milvus や ChromaDB など複数のベクトルデータベースに対応しています。

Who it’s for

自社の内部ナレッジを活用し、クラウドベースのLLMに完全に依存せずにプライベートでデバイス上のAIアプリケーションを構築したい開発者やエンタープライズユーザー向けです。

Highlights

  • Broad Hardware Support：AI PC やノートPC の NPU・GPU に最適化され、GGUF、OpenVINO、ONNXRuntime をサポート。
  • Extensive Model Library：300 以上の事前パッケージ化・量子化モデルにアクセスでき、主要クラウド API（OpenAI、Anthropic、Google）もサポート。
  • Versatile Ingestion：ローカルフォルダから混在ファイルタイプを解析・チャンク化する汎用 ingest 機能。
  • RAG‑Optimized Models：ローカル RAG ワークフロー向けに設計された 1‑7B パラメータの専門モデル。
  • Fact‑Checking：生成された応答をソース資料と照らし合わせて証拠チェックを行う組み込み機能。