docker/genai-stack

해결하는 문제

개발자가 빠르게 생성형 AI 애플리케이션을 구축하고 배포할 수 있도록 즉시 사용 가능한 스타터 킷을 제공합니다. LLM, 벡터 데이터베이스, 애플리케이션 프레임워크와 같은 필요한 인프라를 하나의 배포 가능한 스택으로 통합함으로써 초기 설정의 번거로움을 제거합니다.

작동 방식

이 프로젝트는 Docker Compose를 사용하여 도구 모음의 오케스트레이션을 수행합니다. Ollama를 통해 로컬 모델 또는 GPT-4, Claude, Google용 API 키를 통해 LLM을 통합하고, 벡터 임베딩과 지식 그래프 저장을 위한 Neo4j 데이터베이스, Python 기반 애플리케이션을 포함합니다. Linux-GPU와 같은 다양한 운영 체제 및 하드웨어에 대한 여러 배포 프로파일을 지원합니다.

대상 사용자

기본 데이터베이스 및 모델 인프라를 수동으로 설정하지 않고 RAG(Retrieval-Augmented Generation)과 지식 그래프를 실험하고 싶은 개발자들입니다.

주요 특징

• 다중 앱 데모 세트: 지원 봇, Stack Overflow 데이터 로더, PDF 리더, 독립형 HTTP API를 포함합니다.
• 하이브리드 RAG: 순수한 LLM 응답과 벡터 및 지식 그래프 컨텍스트로 강화된 응답의 차이를 보여줍니다.
• 유연한 LLM 지원: Ollama를 통한 로컬 모델과 OpenAI, AWS, Google과 같은 클라우드 제공업체 모두와 호환됩니다.
• 통합 도구: Svelte 기반의 프론트엔드를 포함하고, 디버깅을 위한 LangChain 트레이싱을 지원합니다.