zhengxuJosh/Awesome-RAG-Vision

Awesome-RAG-Vision: a curated list of advanced retrieval augmented generation (RAG) for Computer Vision

🎯 什么是 Awesome‑RAG‑Vision？

Awesome‑RAG‑Vision 是一个精选的“awesome-list”，汇集了关于**计算机视觉任务的检索增强生成（RAG）**的研究论文、综述、基准测试和相关资源。它不是一个代码库或可运行的系统，而是整理了视觉模型（图像、视频、3D、医疗、具身AI等）如何与外部检索机制（数据库、知识图谱、长文档、记忆库）相结合以提高理解或生成能力的快速增长文献。

📚 内部内容

部分	内容
引言	视觉中RAG的简要说明——为什么检索有助于图像描述、VQA、视频问答、生成模型等。
范围与收录标准	维护者决定哪些作品算作视觉 RAG的规则（例如，必须包含向生成模型提供证据的检索器）。
资源	教授如何构建多模态RAG管道的工作坊、教程和博客文章链接（LangChain、LlamaIndex、LanceDB、Stable Diffusion等）。
论文 – 综述与基准	涵盖NLP/LLM中的RAG和新兴多模态RAG文献的近期综述（2023‑2026）表格。
视觉RAG	列表的核心——按任务分组的数十篇论文：
• 视觉理解 – 图像描述、VQA、开放词汇检测、长尾识别等。
• 长视频理解 – 场景级检索、流式RAG、叙事视频生成、具身助手。
• 视觉空间理解 – 带幻觉纠正的空间描述。
• 多模态 – 文档中心RAG、知识图谱增强VQA、企业/工业用例。
• 视觉生成 – 图像/视频生成、3D生成（摘录中未完全列出）。
• 具身AI – 与环境交互时检索视觉知识的智能体。
相关组件	提及支持RAG但不是端到端系统的检索器、知识库、评估套件。
引用	用于引用列表本身的现成BibTeX条目。

🛠️ 使用方法

探索任务 – 点击相关子部分（例如，图像理解）。每个条目显示标题、作者、发表地点以及PDF或arXiv页面的直接链接。
寻找实现线索 – 许多论文标题包含“框架”、“即插即用”或“基准”，这些通常指向附带的代码仓库。通过链接找到代码。
学习基础知识 – 资源部分汇集了教程（LangChain、LlamaIndex、Stable Diffusion等），指导从零开始构建多模态RAG管道。
保持最新 – 该列表是开源的；您可以提交PR以添加您发现的新RAG视觉论文。

📌 谁将受益？

研究人员 – 希望快速了解以视觉为中心的RAG最新进展。
工程师 – 希望找到包含代码或数据集以构建检索增强视觉系统的最新论文。
学生 – 准备多模态AI文献综述或项目提案。
产品团队 – 为下一代视觉助手、文档中心AI或视频分析工具寻找学术想法。

🔗 快速链接

综述论文：Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook (arXiv:2503.18016)
GitHub仓库：https://github.com/zhengxuJosh/Awesome-RAG-Vision
许可证：MIT（可自由重用和修改）。

此说明仅基于仓库的README；列表本身不包含可执行软件。