skygazer42/MimirQ

해결하는 문제

MimirQ는 기업용 RAG(Retrieval-Augmented Generation)을 위한 것으로, 단순히 문서를 벡터화하는 것 이상으로 오류를 식별할 수 있고, 전략을 교체할 수 있으며, 품질을 레그레션 테스트할 수 있도록 보장하는 것이 주요 과제입니다. 단순한 RAG 파이프라인의 '블랙박스' 문제를 해결하기 위해, 파싱, 정제, 청크화, 검색에 이르기까지 모든 단계를 검사하고 감사하며 버전 관리할 수 있는 제어 가능한 지식 파이프라인을 제공합니다.

작동 방식

이 시스템은 구조화된 지식 파이프라인을 구현합니다: 데이터 평가 → 시나리오 기반 파싱 → 정제/거버넌스 → 비즈니스 청크화 → 인덱싱 → 하이브리드 검색 → 재정렬 → 골든 레그레션.

문서 유형이나 비즈니스 요구에 따라 교체 가능한 다양한 모듈형 컴포넌트를 지원합니다:

• 파싱: DeepDoc, Docling, MinerU, Marker 등 30개 이상의 백엔드를 지원합니다.
• 청크화: 세미틱, 재귀적, 부모-자식, RAPTOR 등 86가지의 다양한 전략을 지원하며, 시각적 미리보기 기능도 제공합니다.
• 검색: Milvus, FAISS, Chroma와 BM25, SPLADE, ColBERT를 결합한 하이브리드 검색을 지원합니다.
• 평가: '골든 데이터셋' 방식을 통해 레그레션 테스트를 수행하며, Recall과 MRR 같은 메트릭을 사용해 버전 간 품질 저하를 방지합니다.
• 통합: 독립형 시스템으로 작동할 수 있으며, Dify의 External Knowledge API를 통해 전용 RAG 레이어로도 활용 가능합니다.

대상 사용자

정부 서비스 등 전문 지식 기반을 제공하는 팀 중, 높은 정밀도, 엄격한 감사 추적, 배포 전 엄격한 품질 보증이 필요한 사용자에게 적합합니다.

주요 특징

• 극도의 모듈성: 전체 파이프라인을 재구성하지 않고도 수십 가지의 파서, 청크 전략, 재정렬기 간에 쉽게 교체 가능.
• 관측성(Observability): 청크, 검색 추적, 재정렬 프로세스를 시각적으로 확인할 수 있는 도구 제공.
• 기업용 거버넌스: 문서 수준의 ACL(접근 제어 목록), 보안 트리밍, SAML SSO 기능 포함.
• 레그레션 테스트: 업데이트 시 품질 저하를 방지하기 위한 내장된 '골든' 질문 세트 제공.
• Dify 호환성: Dify의 External Knowledge API에 네이티브로 대응하여, Dify 워크플로우의 고정밀 검색 엔진으로 활용 가능.