OpenBMB/VisRAG

Parsing-free RAG supported by VLMs

What it solves

VisRAG は、従来のテキストベースの Retrieval‑Augmented Generation（RAG）パイプラインで、文書をテキストにパースしてから検索する際に生じる情報ロスを解消します。文書を画像として扱い、Vision‑Language Model（VLM）を検索と生成の両方に用いることで、元の文書の視覚情報を完全に保持します。

How it works

プロジェクトは主に 2 つのイテレーションで構成されます。

  1. VisRAG (1.0)： 文書を画像として直接埋め込み、VLM ベースのリトリーバー (VisRAG‑Ret) で検索し、VLM ジェネレータ (VisRAG‑Gen) に渡して回答を生成するパイプライン。
  2. EVisRAG (VisRAG 2.0)： マルチ画像推論向けに設計されたエンドツーエンドフレームワーク。構造化された 4 ステッププロセス（画像を観察、画像ごとに証拠を記録、証拠に基づき推論、最終的に質問に回答）を使用します。Reward‑Scoped Group Relative Policy Optimization（RS‑GRPO）で訓練し、視覚認識と推論の両方を最適化します。

Who it’s for

PDF のチャートやテーブルなど、視覚的にリッチな文書向けの RAG システムを構築したい研究者や開発者向けです。OCR やテキストパースによるエラーを回避したい方に最適です。

Highlights

  • Visual-First Retrieval: 文書を画像として埋め込み、データ保持を最大化。
  • Evidence-Guided Reasoning: EVisRAG は観察‑証拠‑推論‑回答のループを構造化してマルチ画像タスクに対応。
  • RS‑GRPO Training: 専用の強化学習手法で認識と推論を同時に最適化。
  • VLM Integration: Qwen2.5‑VL、MiniCPM‑V などのモデル上に構築。