superlinear-ai/raglite

🥤 RAGLite is a Python toolkit for Retrieval-Augmented Generation (RAG) with DuckDB or PostgreSQL

何を解決するか

RAGLite は、Retrieval-Augmented Generation (RAG) パイプラインの実装を簡素化する軽量な Python ツールキットです。LangChain や PyTorch などの重いフレームワークの複雑さを排除し、LLM をベクトル検索およびキーワード検索データベースと統合するためのスムーズな方法を提供します。これにより、AI の応答を特定の文書に基づいて根拠づけることができます。

動作方法

このツールキットでは、LLM プロバイダー（LiteLLM を通じて）とデータベース（DuckDB または PostgreSQL）を設定できます。ドキュメントは Markdown に変換され、意味的チャンク分割が適用され、マルチベクトル埋め込みが作成されます。検索では、キーワード検索とベクトル検索を組み合わせたハイブリッド検索と再ランク処理をサポートし、最も関連性の高いコンテンツを検出します。また、「適応的検索」機能もあり、LLM がユーザーのクエリに基づいて検索を実行する必要があるか、何を検索するかを自律的に判断できます。

対象ユーザー

大規模な ML フレームワークのオーバーヘッドを避けたい開発者、または知識ベースを Claude Desktop などの MCP クライアントと統合したい開発者に最適です。

特徴

柔軟なバックエンド：ストレージに DuckDB と PostgreSQL をサポートし、LLM/埋め込みプロバイダーの柔軟性を LiteLLM で実現。
高度なチャンク分割：ラテ・チャンク分割、コンテキスト付きチャンク見出し、バイナリ整数計画法を用いた最適な意味的分割を実装。
適応的 RAG：LLM がプロンプトに基づいて検索をトリガーするタイミングを自律的に決定可能。
MCP 統合：Claude Desktop などの AI クライアントと接続するための組み込み Model Context Protocol サーバーを備えています。
最適化されたパフォーマンス：プロンプトキャッシュ対応構造と閉形式線形クエリアダプターを備え、検索品質を向上させます。