Farzad-R/LLM-Zero-to-Hundred

This repository contains different LLM chatbot projects (RAG, LLM agents, etc.) and well-known techniques for training and fine tuning LLMs.

What it solves

이 저장소는 고급 LLM 애플리케이션을 구축하기 위한 실질적인 구현 사례와 튜토리얼의 종합적인 모음집입니다. 다양한 RAG (Retrieval Augmented Generation) 기술, 파인튜닝 파이프라인, 그리고 멀티모달 에이전트 워크플로우를 시연함으로써 기초적인 챗봇 개발과 프로덕션급 시스템 사이의 간극을 메웁니다.

How it works

이 저장소는 각각 특정 AI 기능에 초점을 맞춘 여러 개의 독립적인 프로젝트로 구성되어 있습니다:

  • RAG Systems: LangChain과 LlamaIndex를 사용하여 사전 처리된 문서, 실시간 업로드 또는 특정 웹사이트를 쿼리할 수 있는 챗봇을 포함하여 다양한 검색 전략을 구현합니다.
  • Agentic Workflows: LangGraph를 사용하여 자율적인 의사 결정, 함수 호출 (function calling), 그리고 DuckDuckGo를 통한 인터넷 검색이 가능한 챗봇을 구축합니다.
  • Multimodal Capabilities: 텍스트 및 음성 상호작용과 더불어, 이미지 생성을 위한 Stable Diffusion과 이미지 이해를 위한 LLava를 통합합니다.
  • Fine-tuning: 원시 데이터를 처리하고 여러 LLM을 파인튜닝하여 도메인 특화 챗봇을 생성하기 위한 파이프라인을 제공합니다.
  • Open-Source Deployment: Google Gemma7B 및 BAAI embedding 모델을 사용한 온프레미스 배포를 시연합니다.

Who it’s for

기초적인 LLM 프롬프트에서 벗어나 실제 세계의 아키텍처 패턴(예: microservices 및 Docker)을 사용하여 복잡하고 멀티모달이며 검색 증강된 애플리케이션을 구축하고자 하는 개발자와 AI 실무자.

Highlights

  • Diverse RAG Implementations: LangChain과 LlamaIndex를 통한 5가지 다른 RAG 기술의 비교.
  • Multimodal Integration: 텍스트, 음성, 이미지 및 웹 검색을 처리하는 단일 챗봇 (HUMAIN).
  • Production-Style Design: Docker Compose를 사용한 마이크로서비스 아키텍처와 Weave Scope를 통한 시각적 모니터링 예시를 포함합니다.
  • End-to-End Fine-tuning: 원시 데이터 처리부터 모델 평가 및 배포까지의 완전한 파이프라인."} }]}```json}# Note: The user's request for