drmingler/smart-llm-loader

무엇을 해결하는가

SmartLLMLoader는 LLM 애플리케이션을 위한 문서 전처리 파이프라인을 간소화하도록 설계되었습니다. 기존 도구는 문서의 구조, 테이블, 의미론적 의미를 잃는 "혼잡한" 추출 문제를 자주 일으키며, 이는 RAG(검색 증강 생성) 시스템의 성능을 저하시킵니다.

어떻게 작동하는가

이 패키지는 문서를 깨끗하고 LLM 준비가 된 markdown으로 변환합니다. 스캔된 이미지와 PDF에 대해 OCR을 조합하고 litellm을 통해 다양한 LLM 제공업체와 통합하여 지능적이고 컨텍스트 인식 청킹을 수행합니다. 고정된 문자 수로 텍스트를 나누는 대신, 의미론적 주제를 식별하고 테이블 서식을 보존하여 LLM이 고품질이고 구조화된 데이터를 받을 수 있도록 합니다.

누가 사용해야 하는가

RAG 시스템, 챗봇, 문서 Q&A 애플리케이션을 구축하는 개발자로, 표와 스캔된 콘텐츠를 포함한 복잡한 문서를 벡터 스토어용 구조화된 청크로 변환하는 신뢰할 수 있는 방법이 필요한 사람.

주요 기능

• 멀티모달 지원: 스캔된 문서와 이미지를 위한 내장 OCR.
• 컨텍스트 인식 청킹: 컨텍스트 기반, 페이지 기반 및 사용자 정의 청킹 전략을 지원하여 의미론적 의미를 보존합니다.
• 광범위한 통합: LangChain 및 LlamaIndex와 원활하게 작동합니다.
• 제공업체에 구애받지 않음: litellm을 통해 Gemini, OpenAI, Anthropic 등 여러 LLM 제공업체를 지원합니다.
• 구조 보존: 테이블 서식을 유지하고 청크에 인텔리전트 메타데이터 태그를 추가합니다.