Zleap-AI/SAG

A new SOTA for RAG — an original retrieval architecture and an open-source knowledge base for humans and agents.

解決する課題

従来の RAG は主に意味的類似性でチャンクを検索し、GraphRAG はトリプル抽出、エンティティ統合、関係正規化、困難な増分更新を伴う高コストなオフライングラフ構築を追加します。SAG は両方を独自の検索アーキテクチャで置き換えるため、ユーザーは 2 つの RAG システムを維持したり、2 つの検索パスを統合したりすることなく、単一システムで意味的検索と関係推論を得られます。また、個人とエージェント向けの完全なナレッジベースアプリも提供します:ドキュメントをアップロードし、構造化知識を取得し、ソーストレーシング付きで複数ソースを検索し、引用付きで質問し、API または MCP を通じて知識を再利用できます。

仕組み

SAG は SAG アーキテクチャ(クエリ時動的ハイパーエッジを用いた SQL 検索拡張生成)に基づいています。インデックス時、各ドキュメントチャンクは意味的に完全な 1 つのイベントと複数のインデックスエンティティに解析されます。イベント、エンティティ、およびそれらの関連はリレーショナルストレージに永続化され、チャンク/イベント/エンティティの表現はベクトル/全文インデックスに送られます。クエリ時には、意味的および語彙的シグナルを使用してシードエンティティとイベントを見つけ、共有エンティティに対する SQL 結合を使用してローカルな候補空間に拡張し、現在のクエリに関連するハイパーエッジのみをインスタンス化し(グローバルグラフの走査や再構築は不要)、最強のイベントと直接チャンク候補を選択して元の証拠チャンクを返します。増分書き込みは自然です。新しいチャンクは自身のイベント/エンティティ/関連を追加するだけで、グローバルグラフを再計算する必要がないからです。システムは SQLite と LanceDB から始まり、外部データベースを必要とせず、本番環境向けに PostgreSQL/pgvector へのパスがあります。

対象ユーザー

根拠があり引用付きの回答を備えた、自己ホスト型でローカルファーストのナレッジベースを求める個人とエージェント向けです。デスクトップアプリ(macOS および Windows)または Docker 自己ホスト展開を通じてエンドユーザーにサービスを提供し、REST/OpenAPI、OpenAI 互換チャットエンドポイント、MCP 統合、CLI、Python パッケージ、DeepSeek Harness プラグインを通じて開発者やエージェントフレームワークにもサービスを提供します。ユーザーは、イベント抽出、クエリ理解、生成のための LLM と、インデックス/ベクトル検索のための埋め込みを設定する必要があります。

ハイライト

  • RAG と GraphRAG の融合ではなく独自の検索アーキテクチャ。論文は arXiv にあり、ベンチマークは再現可能です。
  • イベントはチャンクの完全な意味を保持し、トリプルに断片化しません。エンティティは軽量なインデックスと拡張ポイントです。
  • クエリ時動的ハイパーエッジは、共有エンティティに対する SQL 結合によってローカルに作成され、グローバルグラフのメンテナンスを回避します。
  • すべての検索結果と引用は元のチャンクにマッピングされ、ソーストレーシングと検査が可能です。
  • デスクトップアプリは Web ワークスペースとローカルバックエンドをバンドル。Python、Node、データベースのインストールは不要です。
  • クロスソースまたはソース限定検索、イベント・エンティティグラフ探索(2D および 3D)、インタラクティブな Explore モードをサポート。
  • 統合には、CLI による MCP マウント、OpenAI 互換エンドポイント、スキル付き DeepSeek Harness プラグインが含まれます。
  • HotpotQA、2WikiMultiHopQA、MuSiQue で最先端の結果を報告。平均 Recall@5 は 90.07%、F1 は 72.96% で、ベースラインをそれぞれ 6.79 ポイントと 4.33 ポイント上回ります。
  • オプションのパーサー柔軟性:PDF 用 MinerU、ローカル MarkItDown、またはローカル変換と CSV のエンコーディング検出を備えた AnyDoc。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト