zhengxuJosh/Awesome-RAG-Vision

Awesome-RAG-Vision: a curated list of advanced retrieval augmented generation (RAG) for Computer Vision

🎯 Awesome‑RAG‑Vision이란?

Awesome‑RAG‑Vision은 **컴퓨터 비전 작업을 위한 검색 증강 생성(RAG)**에 관한 연구 논문, 서베이, 벤치마크, 관련 리소스를 모은 **큐레이션된 "awesome-list"**입니다. 코드 라이브러리나 실행 가능한 시스템이 아니라, 이미지, 비디오, 3D, 의료, 체화 AI 등 시각 모델이 외부 검색 메커니즘(데이터베이스, 지식 그래프, 장문 문서, 메모리 뱅크)과 어떻게 결합하여 이해나 생성을 향상시킬 수 있는지에 대한 빠르게 성장하는 문헌을 정리합니다.

📚 내부 구성

섹션	내용
소개	비전에서 RAG에 대한 간단한 설명 – 이미지 캡셔닝, VQA, 비디오 QA, 생성 모델 등에 검색이 왜 도움이 되는지.
범위 및 포함 기준	유지 관리자가 어떤 작업을 비주얼 RAG로 간주하는지 결정하는 규칙(예: 생성 모델에 증거를 제공하는 검색기를 포함해야 함).
리소스	멀티모달 RAG 파이프라인 구축 방법을 가르치는 워크숍, 튜토리얼, 블로그 게시물 링크(LangChain, LlamaIndex, LanceDB, Stable Diffusion 등).
논문 – 서베이 및 벤치마크	NLP/LLM의 RAG와 새로운 멀티모달 RAG 문헌을 다루는 최근 서베이(2023‑2026) 테이블.
비전을 위한 RAG	목록의 핵심 – 작업별로 그룹화된 수십 개의 논문:
• 시각적 이해 – 이미지 캡셔닝, VQA, 개방형 어휘 탐지, 롱테일 인식 등.
• 장시간 비디오 이해 – 장면 수준 검색, 스트리밍 RAG, 내러티브 비디오 생성, 체화된 어시스턴트.
• 시각적 공간 이해 – 환각 수정을 통한 공간 설명.
• 멀티모달 – 문서 중심 RAG, 지식 그래프 증강 VQA, 엔터프라이즈/산업 사용 사례.
• 시각적 생성 – 이미지/비디오 생성, 3D 생성(발췌문에는 완전히 나열되지 않음).
• 체화 AI – 환경과 상호작용하면서 시각적 지식을 검색하는 에이전트.
관련 구성 요소	RAG를 지원하지만 엔드투엔드 시스템이 아닌 검색기, 지식 베이스, 평가 스위트에 대해 언급.
인용	목록 자체를 인용하기 위한 복사 가능한 BibTeX 항목.

🛠️ 사용 방법

작업 탐색 – 관련 하위 섹션(예: 이미지 이해)을 클릭합니다. 각 항목에는 제목, 저자, 발표 장소, PDF 또는 arXiv 페이지에 대한 직접 링크가 표시됩니다.
구현 단서 찾기 – 많은 논문 제목에는 "프레임워크", "플러그 앤 플레이", "벤치마크"가 포함되어 있어 종종 첨부된 코드 저장소를 가리킵니다. 링크를 따라 코드를 찾으세요.
기본 학습 – 리소스 섹션에는 멀티모달 RAG 파이프라인을 처음부터 구축하는 과정을 안내하는 튜토리얼(LangChain, LlamaIndex, Stable Diffusion 등)이 모여 있습니다.
최신 정보 유지 – 목록은 오픈소스입니다. 발견한 새로운 RAG 비전 논문을 추가하려면 PR을 제출할 수 있습니다.

📌 누가 혜택을 받을까?

연구자 – 비전 중심 RAG의 최첨단을 빠르게 파악하려는 분.
엔지니어 – 검색 증강 비전 시스템 구축을 위한 코드나 데이터셋이 포함된 최근 논문을 찾고 싶은 분.
학생 – 멀티모달 AI에 대한 문헌 검토나 프로젝트 제안을 준비하는 분.
제품 팀 – 차세대 비주얼 어시스턴트, 문서 중심 AI, 비디오 분석 도구를 위한 학술적 아이디어를 찾는 분.

🔗 빠른 링크

서베이 논문: Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook (arXiv:2503.18016)
GitHub 저장소: https://github.com/zhengxuJosh/Awesome-RAG-Vision
라이선스: MIT(재사용 및 리믹스 자유).

이 설명은 저장소의 README에만 기반합니다. 목록 자체에는 실행 가능한 소프트웨어가 포함되어 있지 않습니다.