StarTrail-org/PixelRAG

https://arxiv.org/abs/2606.28344. The end of web parsing. The beginning of scalable pixel-native search. link: https://pixelrag.ai/

解決する課題

従来の検索拡張生成 (RAG) システムは、Webページやドキュメントをプレーンテキストに解析して処理するため、重要なレイアウトや視覚的コンテキストが失われ、表、グラフ、インフォグラフィックなどの複雑な視覚情報を処理できないことがよくあります。PixelRAGはドキュメントを視覚的エンティティとして扱うことでこの問題を解決し、AIモデルがスクリーンショットから直接情報を「見て」検索できるようにします。

仕組み

PixelRAGは、テキストベースの解析を視覚的パイプラインに置き換えます。レンダリングエンジン (Playwright/CDP経由) を使用して、WebページやPDFなどのドキュメントを高精細なスクリーンショットタイルとしてキャプチャします。これらの画像は、LoRAで微調整された視覚言語埋め込みモデル (Qwen3-VL-Embedding) によって処理され、視覚的内容がベクトル空間にマッピングされます。これにより、システムは単なるテキスト内容ではなく、ドキュメントの視覚的構造に基づいてセマンティック検索を実行できます。

対象ユーザー

このプロジェクトは、非テキストデータを含むドキュメントに対して高い精度を必要とするRAGアプリケーションを構築する開発者や研究者を対象としています。また、Claude Codeのようなエージェントツールを使用し、AIエージェントにWebページやドキュメントを視覚的に解釈させる能力を持たせたいユーザー向けに設計されています。

ハイライト

  • ビジュアルファーストな検索： ドキュメントの見た目に基づいて検索を行い、表、グラフ、レイアウト構造を保持します。
  • Claude統合： pixelbrowse プラグインが含まれており、Claudeがスクリーンショットを撮ることでWebページを「見て」要約できるようになります。
  • 汎用パイプライン： ドキュメントのレンダリング、チャンク化、埋め込み、インデックス作成のためのモジュール式ツールを提供します。
  • 柔軟なバックエンド： 迅速なデプロイのためのローカルFAISSインデックスや、スケーラブルな本番環境向けのQdrantによるベクトル検索をサポートしています。

関連

  • プロジェクト
    jolibrain/colette

    Coletteは、PDFを画像としてインデックス化し、表、図、レイアウトを保持する自己ホスト型RAGプラットフォームです。ビジョン埋め込み、BM25語彙検索、オプションのHyDEプロンプティングを組み合わせ、Docker経由で高スペックGPU上で動作します。機密性の高い技術文書に最適です。

  • プロジェクト
    HKUDS/LightRAG

    LightRAG は、ベクトル埋め込みとナレッジグラフインデックスを組み合わせたオープンソースの Python フレームワークで、高速でスケーラブルな検索拡張生成を実現します。複数のチャンキング戦略、マルチモーダル文書解析、増分更新、さまざまなストレージバックエンドをサポートし、REST API と Web UI を備えています。

  • プロジェクト
    ggozad/haiku.rag

    haiku.rag は、PDF、Office ファイル、HTML、Markdown、画像を対象とした、プライベートで引用情報が豊富な RAG システムを構築するための Python ライブラリ/CLI です。LanceDB を使用したハイブリッドベクトル/全文索引、Docling によるドキュメント解析、Pydantic AI による LLM/埋め込みプロバイダー（デフォルトは Ollama）を備えています。機能には、ハイブリッド検索、オプションの再ランキング、マルチモーダル画像検索、データ集約用のサンドボックス Python、正確なページレベルの引用を表示する CLI/TUI が含まれます。オプションのバックグラウンド取り込みサービスと、Claude Code などのツールと統合するための MCP 服务器があります。`pip install haiku.rag`（或精简核心）安装，并通过 `haiku-rag add-src`、`haiku-rag ask` 或异步 Python API 等命令进行交互。

  • プロジェクト
    Marker-Inc-Korea/AutoRAG

    AutoRAG Agent は、Node ベースのローカル実行 RAG システムで、コンピュータを検索可能なナレッジベースに変えます。BM25 と組み込みの埋め込みモデルを使用してファイル（PDF、Office、HWP、画像など）をインデックス化し、多くの外部チャットソースをサポートし、番号付き引用付きで自然言語の質問に回答します。CLI、対話型ターミナル UI、デスクトップ Electron アプリ、TypeScript ライブラリとして利用でき、プライバシー（データがマシンから出ない）と使いやすさ（ベクター DB のセットアップ不要）を重視しています。

  • プロジェクト
    OpenRaiser/PaperFit

    PaperFit は、LaTeX論文の視覚的レイアウトを自動的にチェック・修復するAIエージェントシステムです。PDFを画像にレンダリングし、レイアウト欠陥を診断、LaTeXの修正案を提案、視覚的およびページ予算の目標を満たすまで反復処理します。Claude Code、Codex、Cursorと連携可能で、テンプレート移行、ページ数制御、局所的オブジェクト修正をサポートします。