zhengxuJosh/Awesome-RAG-Vision

Awesome-RAG-Vision: a curated list of advanced retrieval augmented generation (RAG) for Computer Vision

🎯 Awesome‑RAG‑Visionとは？

Awesome‑RAG‑Visionは、**コンピュータビジョンタスクのための検索拡張生成（RAG）に関する研究論文、サーベイ、ベンチマーク、関連リソースをまとめたキュレーションされた「awesome‑list」**です。コードライブラリや実行可能なシステムではなく、画像、ビデオ、3D、医療、身体化AIなどの視覚モデルが、外部の検索メカニズム（データベース、知識グラフ、長文ドキュメント、メモリバンク）とどのように組み合わせて理解や生成を向上させるかに関する急速に成長する文献を整理しています。

📚 中身の紹介

セクション	内容
イントロダクション	視覚におけるRAGの簡単な説明 – 画像キャプショニング、VQA、ビデオQA、生成モデルなどに検索が役立つ理由。
スコープと包含基準	メンテナーがどの作品をビジュアル RAGと見なすかを決定するルール（例：生成モデルに証拠を提供するレトリーバーを含む必要がある）。
リソース	マルチモーダルRAGパイプラインの構築方法を教えるワークショップ、チュートリアル、ブログ記事へのリンク（LangChain、LlamaIndex、LanceDB、Stable Diffusionなど）。
論文 – サーベイとベンチマーク	NLP/LLMにおけるRAGと新興のマルチモーダルRAG文献をカバーする最近のサーベイ（2023‑2026）のテーブル。
視覚のためのRAG	リストの核心 – タスクごとにグループ化された数十の論文：
• 視覚的理解 – 画像キャプショニング、VQA、オープン語彙検出、ロングテール認識など。
• 長時間ビデオ理解 – シーンレベルの検索、ストリーミングRAG、ナラティブビデオ生成、身体化アシスタント。
• 視覚的空間理解 – 幻覚修正を伴う空間記述。
• マルチモーダル – ドキュメント中心のRAG、知識グラフ拡張VQA、エンタープライズ/産業用ユースケース。
• 視覚生成 – 画像/ビデオ生成、3D生成（抜粋では完全にリストされていません）。
• 身体化AI – 環境と相互作用しながら視覚知識を検索するエージェント。
関連コンポーネント	RAGをサポートするがエンドツーエンドのシステムではないレトリーバー、知識ベース、評価スイートに言及。
引用	リスト自体を引用するためのコピー可能なBibTeXエントリ。

🛠️ 使用方法

タスクを探索 – 関連するサブセクション（例：画像理解）をクリックします。各エントリには、タイトル、著者、発表場所、PDFまたはarXivページへの直接リンクが表示されます。
実装の手がかりを見つける – 多くの論文タイトルには「フレームワーク」「プラグアンドプレイ」「ベンチマーク」が含まれており、付随するコードリポジトリを指していることがよくあります。リンクをたどってコードを見つけてください。
基本を学ぶ – リソースセクションには、マルチモーダルRAGパイプラインをゼロから構築する手順を説明したチュートリアル（LangChain、LlamaIndex、Stable Diffusionなど）が集約されています。
最新情報を入手 – リストはオープンソースです。新しいRAGビジョン論文を発見したら、PRを送信して追加できます。

📌 誰に役立つか？

研究者 – ビジョン中心のRAGの最先端を迅速に把握したい方。
エンジニア – 検索拡張ビジョンシステムを構築するためのコードやデータセットを含む最近の論文を見つけたい方。
学生 – マルチモーダルAIに関する文献レビューやプロジェクト提案を準備している方。
プロダクトチーム – 次世代のビジュアルアシスタント、ドキュメント中心のAI、ビデオ分析ツールのための学術的アイデアを探している方。

🔗 クイックリンク

サーベイ論文: Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook (arXiv:2503.18016)
GitHubリポジトリ: https://github.com/zhengxuJosh/Awesome-RAG-Vision
ライセンス: MIT（再利用・リミックス自由）。

この説明はリポジトリのREADMEのみに基づいています。リスト自体には実行可能なソフトウェアは含まれていません。