StarTrail-org/PixelRAG

https://arxiv.org/abs/2606.28344. The end of web parsing. The beginning of scalable pixel-native search. link: https://pixelrag.ai/

해결하는 문제

기존의 검색 증강 생성 (RAG) 시스템은 웹 페이지나 문서를 원시 텍스트로 파싱하여 처리하기 때문에 중요한 레이아웃과 시각적 맥락이 제거되어 표, 차트, 인포그래픽과 같은 복잡한 시각 정보를 처리하지 못하는 경우가 많습니다. PixelRAG는 문서를 시각적 개체로 취급하여 이 문제를 해결하며, AI 모델이 스크린샷에서 직접 정보를 "보고" 검색할 수 있도록 합니다.

작동 방식

PixelRAG는 텍스트 기반 파싱을 시각적 파이프라인으로 대체합니다. 렌더링 엔진 (Playwright/CDP 사용)을 사용하여 웹 페이지나 PDF와 같은 문서를 고해상도 스크린샷 타일로 캡처합니다. 이 이미지들은 LoRA로 미세 조정된 시각-언어 임베딩 모델 (Qwen3-VL-Embedding)에 의해 처리되어 시각적 콘텐츠를 벡터 공간에 매핑합니다. 이를 통해 시스템은 단순히 텍스트 내용뿐만 아니라 문서의 시각적 구조에 대해 의미론적 검색을 수행할 수 있습니다.

대상 사용자

이 프로젝트는 텍스트가 아닌 데이터가 포함된 문서에 대해 높은 정확도가 필요한 RAG 애플리케이션을 구축하는 개발자와 연구자를 위한 것입니다. 또한 Claude Code와 같은 에이전트 도구 사용자들을 위해 설계되었으며, AI 에이전트가 웹 페이지와 문서를 시각적으로 해석할 수 있는 능력을 제공하고자 합니다.

주요 특징

  • 시각 우선 검색: 문서의 외형을 기반으로 검색하여 표, 차트 및 레이아웃 구조를 보존합니다.
  • Claude 통합: pixelbrowse 플러그인을 포함하여 Claude가 스크린샷을 통해 웹 페이지를 "보고" 요약할 수 있습니다.
  • 범용 파이프라인: 문서 렌더링, 청킹, 임베딩 및 인덱싱을 위한 모듈식 도구를 제공합니다.
  • 유연한 백엔드: 빠른 배포를 위한 로컬 FAISS 인덱스 또는 확장 가능한 프로덕션급 벡터 검색을 위한 Qdrant를 지원합니다.

관련

  • 프로젝트
    jolibrain/colette

    Colette는 PDF를 이미지로 인덱싱하여 표, 그림, 레이아웃을 보존하는 자체 호스팅형 RAG 플랫폼입니다. 비전 임베딩, BM25 어휘 검색, 선택적 HyDE 프롬프팅을 결합하며 Docker를 통해 고성능 GPU에서 실행됩니다. 기밀 기술 문서에 적합합니다.

  • 프로젝트
    HKUDS/LightRAG

    LightRAG는 벡터 임베딩과 지식 그래프 인덱스를 결합하여 빠르고 확장 가능한 검색 증강 생성을 제공하는 오픈소스 Python 프레임워크입니다. 여러 청크 전략, 멀티모달 문서 파싱, 증분 업데이트, 다양한 저장 백엔드를 지원하며, REST API와 웹 UI를 포함합니다.

  • 프로젝트
    ggozad/haiku.rag

    haiku.rag는 PDF, Office 파일, HTML, Markdown 및 이미지를 기반으로 개인용 인용 중심 RAG 시스템을 구축하기 위한 Python 라이브러리이자 CLI입니다. 하이브리드 벡터/전문 인덱싱을 위해 LanceDB를, 문서 파싱을 위해 Docling을, LLM/임베딩 공급자(기본값 Ollama)를 위해 Pydantic AI를 사용합니다. 하이브리드 검색, 선택적 리랭킹, 멀티모달 이미지 검색, 데이터 집계를 위한 샌드박스 Python, 정확한 페이지 수준 인용을 보여주는 CLI/TUI 기능을 제공합니다. 선택적인 백그라운드 수집기 서비스와 Claude Code와 같은 도구와의 통합을 위한 MCP 서버를 제공합니다. pip install haiku.rag(또는 slim 코어)를 통해 설치하고 haiku-rag add-src, haiku-rag ask 또는 비동기 Python API를 통해 상호 작용할 수 있습니다.

  • 프로젝트
    Marker-Inc-Korea/AutoRAG

    AutoRAG Agent는 Node 기반의 로컬 실행 RAG 시스템으로, 컴퓨터를 검색 가능한 지식 베이스로 전환합니다. BM25와 내장 임베딩 모델로 파일(PDF, Office, HWP, 이미지 등)을 인덱싱하고, 다양한 외부 채팅 소스를 지원하며, 번호가 매겨진 인용과 함께 자연어 질문에 답변합니다. CLI, 대화형 터미널 UI, 데스크톱 Electron 앱, TypeScript 라이브러리로 제공되며, 개인정보 보호(데이터가 기기를 벗어나지 않음)와 사용 편의성(벡터 DB 설정 불필요)을 강조합니다.

  • 프로젝트
    OpenRaiser/PaperFit

    PaperFit는 LaTeX 논문의 시각적 레이아웃을 자동으로 점검하고 수정하는 AI 에이전트 시스템입니다. PDF를 이미지로 렌더링하고, 레이아웃 결함을 진단하며, LaTeX 수정 제안을 하고, 시각적 목표와 페이지 예산 목표를 충족할 때까지 반복합니다. Claude Code, Codex, Cursor와 호환되며, 템플릿 이전, 페이지 수 제어, 로컬 오브젝트 수정을 지원합니다.