datawhalechina/all-in-rag

🔍大模型应用开发实战一：RAG 技术全栈指南，在线阅读地址：https://datawhalechina.github.io/all-in-rag/

이것이 무엇인가

All-in-RAG는 무료 오픈소스 튜토리얼(주로 중국어로 작성, 영어 버전 제공)로, 개발자에게 RAG 애플리케이션을 구축하는 방법을 가르칩니다——대규모 언어 모델이 먼저 자신의 문서나 지식 베이스에서 관련 정보를 검색한 다음, 검색된 콘텐츠에 기반하여 응답을 생성하는 시스템입니다. 이 프로젝트는 스스로를 "풀스택 가이드"라고 부릅니다: 기본 개념부터 프로덕션 준비 시스템까지 안내합니다.

대상 독자

README는 네 가지 대상 독자를 명시합니다:

RAG를 배우고 싶은 Python 경험이 있는 개발자
구조화된 방식으로 RAG를 배우고자 하는 AI 엔지니어
지능형 Q&A 시스템을 구축하는 제품 개발자
검색 증강 생성에 관심 있는 연구자

시작하기 전에, 프로젝트는 다음을 가정합니다: 기본 Python 문법과 일반적인 라이브러리 사용, 간단한 Docker 명령 실행, 기본 Linux 명령줄 운영. 기본 LLM 개념에 대한 지식은 권장되지만 필수는 아닙니다.

다루는 내용

튜토리얼은 5개 파트로 구성된 10개 장으로 구성됩니다:

RAG 기초——RAG가 무엇인지, 환경 설정 방법, 그리고 첫 RAG 시스템을 구축하기 위한 "4단계" 빠른 시작. 데이터 준비도 다룹니다: 다양한 형식의 문서 로드 및 텍스트를 관리 가능한 청크로 분할.
인덱스 구축 및 최적화——텍스트를 벡터 임베딩으로 변환(텍스트와 이미지를 모두 처리하는 멀티모달 임베딩 포함), 벡터 데이터베이스 구축 및 사용(Milvus를 사용한 실습), 인덱스 성능 조정.
고급 검색——하이브리드 검색(밀집 및 희소 검색 결합), 지능형 쿼리 구축, 자연어를 SQL 쿼리로 변환(Text2SQL), 쿼리 재작성 및 라우팅 전략, 기타 고급 검색 알고리즘.
생성 및 평가——모델 출력 형식 지정, 그리고 중요하게는 RAG 시스템 평가 방법: 방법론, 도구, 메트릭.
고급 애플리케이션 및 실습——지식 그래프 기반 RAG에 대한 추가 장, 이어서 두 개의 완전한 실습 프로젝트. 첫 번째 프로젝트(8장)는 완전한 RAG 애플리케이션을 구축합니다——환경 설정, 데이터 준비, 인덱스 구축, 검색, 생성. 9장은 동일 프로젝트의 선택적 "Graph RAG" 최적화이고, 10장(두 번째 프로젝트)은 아직 계획 중입니다. 또한 커뮤니티 기여 "추가 장" 주제가 있습니다. 예: 간단한 Neo4J 애플리케이션 및 멀티모달 임베딩 실습.

차별점

README는 다섯 가지 장점을 나열합니다:

체계적인 학습 경로——기초부터 고급까지, RAG에 대한 완전한 멘탈 모델 형성
이론 + 실습 결합——각 장은 설명과 실행 가능한 코드를 모두 포함
멀티모달 지원——텍스트 검색뿐만 아니라 이미지와 텍스트의 임베딩 및 검색을 다룸
엔지니어링 중심——성능 최적화 및 시스템 평가와 같은 실제 문제에 주목
여러 실습 프로젝트——초급부터 고급까지, 배운 내용을 강화

리포지토리 구조

리포지토리에는: docs/(튜토리얼 문서), code/(코드 예제), data/(샘플 데이터), models/(사전 훈련된 모델), Extra-chapter/(커뮤니티 기여)가 포함됩니다.

커뮤니티 및 기여

이 프로젝트는 Datawhale(중국 오픈소스 학습 커뮤니티)에 의해 유지 관리되며, 주요 기여자와 다른 여러 명이 있습니다. README는 여러 종류의 기여를 초대합니다: 버그 보고(Issues를 통해), 아이디어(Discussions를 통해), 그리고——현재 Extra-chapter 섹션으로 제한——커뮤니티의 새로운 독립 주제(검토 프로세스를 거침).

라이선스

All-in-RAG는 CC BY-NC-SA 4.0 라이선스(크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락)로 릴리스됩니다. 간단히 말하면: 자료를 공유하고 수정할 수 있지만, 출처를 명시해야 하고, 상업적 사용은 불가하며, 파생 작업은 동일한 라이선스로 릴리스해야 합니다.

결론

구조화되고 실용적인 방식으로 RAG를 배우고 싶다면——그리고 Python과 기본 DevOps 도구에 익숙하다면——이것은 "RAG가 무엇인가?"에서 "내 RAG 시스템을 구축하고 평가했다"까지 안내하는 완전하고 무료인 리소스입니다.