Samge0/ragflow-upload

해결하는 문제

이 도구는 기본 RAGFlow 지식 기반 업로드 인터페이스의 제한을 해결합니다. 일반적으로 한 번에 업로드할 수 있는 파일 수에 제한이 있어 대량의 문서를 처리하기 어려운 점을 개선합니다. 이 도구는 로컬 디렉터리 및 하위 디렉터리에서 지원되는 파일 형식을 자동으로 스캔하여 대량의 문서를 RAGFlow 지식 기반에 자동으로 가져오고, 파싱 및 청크화 프로세스를 트리거함으로써 수동으로 배치를 나누거나 기다릴 필요 없이 효율적으로 처리할 수 있습니다.

작동 방식

RAGFlow API/SDK와 상호작용하는 클라이언트(독립 실행형 실행 파일 또는 Python 스크립트로 제공)로 작동합니다. 지정된 로컬 디렉터리에서 지원되는 파일 형식(예: .md, .txt, .pdf, .docx)을 스캔하여 대상 지식 기반에 업로드하고, 파싱 및 청크화 프로세스를 시작합니다. 또한, 별도의 .meta.json 파일을 통해 사용자 정의 메타데이터를 지원합니다.

대상 사용자

RAGFlow (v0.26.2 이상)을 사용하여 대규모 데이터셋 또는 로컬 아카이브(예: 노트 모음, 기술 매뉴얼 등)를 AI 지식 기반으로 효율적으로 마이그레이션해야 하는 사용자에게 적합합니다.

주요 기능

• 자동 배치 처리: 디렉터리를 자동으로 탐색하여 대량의 문서를 일괄로 업로드 및 파싱합니다.
• 진행 상황 추적: 실시간으로 파싱 진행 상황을 모니터링하고, 중단 시 이미 처리된 파일을 건너뛰기 위한 상태 기록을 유지합니다.
• 메타데이터 지원: JSON 파일을 통해 문서에 사용자 정의 메타데이터를 첨부할 수 있습니다.
• 유연한 청크화: naive, general, paper, book, laws, presentation, manual, qa 등 다양한 RAGFlow 청크화 방식을 지원합니다.
• 스탠드얼론 클라이언트: Python 코드를 실행하고 싶지 않은 사용자를 위해 Windows, macOS, Linux용 사전 컴파일된 바이너리를 제공합니다.