datawhalechina/all-in-rag

🔍大模型应用开发实战一：RAG 技术全栈指南，在线阅读地址：https://datawhalechina.github.io/all-in-rag/

概要

All-in-RAGは無料のオープンソースチュートリアル（主に中国語で執筆され、英語版も利用可能）で、開発者にRAGアプリケーションの構築方法を教えます——大規模言語モデルが、まず自分のドキュメントやナレッジベースから関連情報を取得し、その取得したコンテンツに基づいて回答を生成するシステムです。このプロジェクトは「フルスタックガイド」と自称しています：基本概念から本番対応システムまでを案内します。

対象読者

READMEには4つの対象読者が挙げられています：

RAGを学びたいPython経験のある開発者
構造化された方法でRAGを学びたいAIエンジニア
インテリジェントなQ&Aシステムを構築するプロダクト開発者
検索拡張生成に興味のある研究者

開始前に、プロジェクトは以下を前提としています：基本的なPython構文と一般的なライブラリの使用、簡単なDockerコマンドの実行、基本的なLinuxコマンドラインの操作。基本的なLLM概念の知識は推奨されますが必須ではありません。

内容

チュートリアルは5つのパートに分かれた10章で構成されています：

RAGの基礎——RAGとは何か、環境のセットアップ方法、そして最初のRAGシステムを構築するための「4ステップ」クイックスタート。データ準備もカバー：さまざまな形式のドキュメントの読み込みと、テキストを管理可能なチャンクに分割。
インデックス構築と最適化——テキストをベクトル埋め込みに変換（テキストと画像の両方を扱うマルチモーダル埋め込みを含む）、ベクトルデータベースの構築と使用（Milvusを使った実践）、インデックスパフォーマンスの調整。
高度な検索——ハイブリッド検索（密検索と疎検索の組み合わせ）、インテリジェントなクエリ構築、自然言語からSQLクエリへの変換（Text2SQL）、クエリ書き換えとルーティング戦略、その他の高度な検索アルゴリズム。
生成と評価——モデル出力のフォーマット、そして重要なことに、RAGシステムの評価方法：方法論、ツール、メトリクス。
高度なアプリケーションと実践——知識グラフベースのRAGに関する追加章、続いて2つの完全な実践プロジェクト。最初のプロジェクト（第8章）は完全なRAGアプリケーションを構築します——環境設定、データ準備、インデックス構築、検索、生成。第9章は同じプロジェクトのオプションの「Graph RAG」最適化で、第10章（2番目のプロジェクト）はまだ計画中です。また、コミュニティ貢献による「追加章」のトピックもあります。例：簡単なNeo4Jアプリケーションやマルチモーダル埋め込みの実践。

特徴

READMEには5つのセールスポイントが挙げられています：

体系的な学習パス——基礎から応用まで、RAGの完全なメンタルモデルを形成
理論と実践の組み合わせ——各章に説明と実行可能なコードの両方を含む
マルチモーダルサポート——テキスト検索だけでなく、画像とテキストの埋め込みと検索をカバー
エンジニアリング重視——パフォーマンス最適化やシステム評価などの実世界の懸念に注意
複数の実践プロジェクト——初心者から上級者まで、学んだことを定着させる

リポジトリの構成

リポジトリには：docs/（チュートリアルドキュメント）、code/（コード例）、data/（サンプルデータ）、models/（事前学習モデル）、Extra-chapter/（コミュニティ貢献）が含まれています。

コミュニティと貢献

このプロジェクトはDatawhale（中国のオープンソース学習コミュニティ）によってメンテナンスされており、主要な貢献者と他の数名がいます。READMEはいくつかの種類の貢献を歓迎しています：バグ報告（Issues経由）、アイデア（Discussions経由）、そして——現在はExtra-chapterセクションに限定——コミュニティからの新しい独立トピック（レビュープロセスを経て）。

ライセンス

All-in-RAGはCC BY-NC-SA 4.0ライセンス（クリエイティブ・コモンズ表示-非営利-継承）でリリースされています。簡単に言うと：素材を共有・改変できますが、出典を明記し、商業利用はできず、派生作品は同じライセンスでリリースする必要があります。

まとめ

構造化された実践的な方法でRAGを学びたい——そしてPythonと基本的なDevOpsツールに慣れているなら——これは「RAGとは何か？」から「自分でRAGシステムを構築して評価した」までを導く、完全で無料のリソースです。