NirDiamant/RAG_Techniques

This repository showcases various advanced techniques for Retrieval-Augmented Generation (RAG) systems. Each technique has a detailed notebook tutorial.

コミュニティ主導で開発されている、42以上のすぐに実行可能なJupyterノートブックを収録したコレクションです。Retrieval-Augmented Generation(RAG)を教えるためのもので、AIシステムが回答する前に外部ドキュメントを取得できるようにし、推測や捏造を減らす手法を学べます。

RAGとは(一言で)

RAGはRetrieval-Augmented Generationの略です。AIモデルが記憶だけから回答するのではなく、RAGシステムはまずドキュメントの集合を検索し(「検索」)、その結果を使って回答を draft します(「生成」)。これにより、回答はより正確で実際の資料に基づいたものになります。

このリポジトリの内容

  • 厳選されたコミュニティ主導のハブで、基礎から最先端までのRAG技術をカバーする42以上の実行可能なノートブック(増加中)が含まれています。
  • 各ノートブックは、直感、コード、参考文献をカバーし、より正確な検索システムの構築に役立ちます。
  • テクニックはカテゴリごとにテーブルで整理され、各ノートブックをGitHubで開くかGoogle Colabで実行するための直接リンクが含まれています。一部のエントリには短い動画解説へのリンクもあります。

READMEに記載されているテクニックカテゴリ

  • 基礎 — 例:ベーシックRAG、CSVファイルを使ったRAG、信頼できるRAG、チャンクサイズの選択、命題チャンキング。
  • クエリ強化 — 例:クエリ変換、HyDE(仮想的文書埋め込み)、HyPE(仮想的プロンプト埋め込み)。
  • コンテキスト強化 — 例:コンテキストチャンクヘッダー、関連セグメント抽出、コンテキストウィンドウ強化。

完全なテーブルは表示されているもの以上に続きます。READMEには、Mistral OCR文書解析、MemoRAG(メモリ強化検索)、エンドツーエンドのRAG評価、Open-RAG-Eval、JSON RAGなどの最近の追加が記載されています。

主な特徴(記載内容)

  • 最新のRAG拡張
  • 各テクニックの包括的なドキュメント
  • 実践的な実装ガイドライン
  • 最新の進展を反映した定期的な更新

関連プロジェクト

同じ著者がいくつかの姉妹コレクションを管理しています。Agents Towards Production(本番グレードのGenAIエージェント)、GenAI Agents(エージェント実装の広範なコレクション)、Prompt Engineering Techniques、Agent Memory Techniques(AIエージェントメモリに関する30のノートブック)などです。

コミュニティとその他

  • コントリビューションを受け付けています。READMEでは、CONTRIBUTING.mdを介してアイデア、テクニック、フィードバックを歓迎しています。
  • 活発なコミュニティチャネル:Redditサブレディット(r/EducationalAI)、Discord、LinkedIn、短い解説動画を提供するYouTubeチャンネル(各エピソードが1つのアイデアをカバー)。
  • 関連書籍、「RAG Made Simple」(400ページのビジュアルコンパニオン、Amazonの生成AIベストセラー)があり、第1章は無料で提供されています。
  • ニュースレター(50,000人以上の購読者)で、更新情報、洞察、著者の書籍の割引を提供。スポンサーおよび個人スポンサーも紹介されています。

対象読者

研究者や実践者で、RAGで可能なことを押し広げたい方—シンプルな最初のステップから高度な拡張まで。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト