StarTrail-org/PixelRAG

https://arxiv.org/abs/2606.28344. The end of web parsing. The beginning of scalable pixel-native search. link: https://pixelrag.ai/

PixelRAG – スクリーンショット上のリトリーバル・オーガナイズド・ジェネレーション

PixelRAG は、ドキュメントの見た目に基づいて情報を検索・取得できるオープンソースライブラリです。テキストの内容だけでなく、視覚的なレイアウト（表、チャート、インフォグラフィックなど）を捉えることで、従来のテキストベースのRAGでは見逃してしまう情報を検索可能にします。Webページ、PDF、画像をタイル化されたスクリーンショットにレンダリングし、視覚言語モデルで埋め込み、FAISSまたはQdrantでベクトルインデックスを構築。その後、テキストまたは画像によるクエリで検索可能なAPI（またはClaudeプラグイン）を提供します。

機能概要

レンダリング：任意のURL、PDF、画像を高解像度のスクリーンショットタイルに変換（pixelshot）。
埋め込み：視覚的レイアウト（表、チャート、インフォグラフィック）を捉えるようにLoRA微調整されたQwen3-VL-Embeddingモデルでタイルを埋め込み。
インデックス化：FAISS（またはQdrant）で埋め込みをインデックス化し、高速な類似性検索を可能に。
API提供：REST API（pixelrag serve）を提供。テキストまたは画像クエリを受け取り、最も関連性の高いスクリーンショットタイルを返す。
Claude Codeプラグイン（pixelbrowse）を提供。Claudeがローカルでpixelshotを呼び出し、ページの「視覚」を理解できるようにする。

コアコンポーネント

コマンド	役割	インストールオプション
`pixelshot`	ドキュメント → 画像タイルに変換（Playwright/Chromiumを使用）	`pip install pixelrag`
`pixelrag chunk` / `embed` / `build-index`	タイル → ベクトル → FAISSインデックスに変換	`pip install 'pixelrag[embed]'`
`pixelrag index`	フルパイプラインをオーケストレーション（ソース → インジェスト → 埋め込み → インデックス）	`pip install 'pixelrag[index]'`
`pixelrag serve`	FastAPI検索サービスを起動（CPUまたはGPU対応）	`pip install 'pixelrag[serve]'`
Qdrantバックエンド	オプションのディスクバックド、スケーラブルなベクトルストア	`pip install 'pixelrag[serve,qdrant]'`

クイックスタート（セットアップ不要）

# ページをタイルにレンダリング
pixelshot https://en.wikipedia.org/wiki/Python -o ./tiles

# 公開Wikipediaインデックス（828万ページ）にクエリ
curl -X POST https://api.pixelrag.ai/search \
  -H "Content-Type: application/json" \
  -d '{"queries":[{"text":"What is the capital of France?"}],"n_docs":5}'

ホストされたAPIは、答えを含むスクリーンショットタイルを返し、下流のLLMが視覚コンテンツを直接読み取れるようにします。

自分のインデックスの構築

# pixelrag.yaml
source:
  type: local
  path: ./my_docs
embed:
  model: Qwen/Qwen3-VL-Embedding-2B
  device: auto   # CUDA、MPS、またはCPUを自動選択
output: ./my_index

pip install 'pixelrag[index]'
pixelrag index build          # レンダリング → 埋め込み → FAISSインデックス
pixelrag serve --index-dir ./my_index --port 30001

その後、上記と同じcurlリクエストでローカルサーバーにクエリを送信できます。

Claude「目」プラグイン

CLIをインストールし、pixelshotをPATHに追加（uv tool install pixelrag または pipx install pixelrag）。
Claude Code Marketplaceでプラグインを追加し、pixelbrowse@pixelrag-pluginsをインストール。
次のようなコマンドを使用：
```
claude -p "screenshot https://news.ycombinator.com and summarize the top stories"
```
Claudeはpixelshotを呼び出し、スクリーンショットタイルを受け取り、視覚的レイアウトに基づいて回答します。

訓練（オプション）

リポジトリには、大規模なスクリーンショットデータセット上でQwen3-VL-Embedding-2BをLoRAで微調整するためのtrain/フォルダが別途含まれています。事前学習済みアダプタはHugging Faceに公開されており、訓練なしで即座に利用可能です。

その他の情報

ライブデモ＆ドキュメント：https://pixelrag.ai
APIリファレンス：https://pixelrag.ai/docs
Colabクイックスタートノートブック：READMEにリンク
事前構築済みWikipediaインデックス：Hugging Faceデータセット StarTrail-org/pixelrag-faiss-indexes からダウンロード可能（約217GB）。

ライセンス

Apache-2.0 – 商用・研究用途ともに無料。

PixelRAGは視覚的構造を検索可能な知識ベースに変換し、LLM（Claude、GPTなど）が表、チャート、レイアウトに依存する質問に答えることを可能にします。従来のテキストのみのRAGでは見逃されがちな情報を捉えることができます。