modelscope/sirchmunk

해결하는 문제

기존의 검색 시스템은 정적 벡터 임베딩에 의존하므로 구축 비용이 많이 들고, 빠르게 구식이 되며, 원본 데이터의 맥락을 잃어버리는 문제가 있습니다. Sirchmunk는 벡터 데이터베이스와 복잡한 전처리 파이프라인의 필요성을 제거하여 원본 파일에 대해 직접 검색하고 대화할 수 있게 함으로써 정보 손실을 제로로 만듭니다. 또한 인덱스를 항상 최신 상태로 유지합니다. 데이터가 변경되면 시스템도 함께 진화하므로 배치 재인덱싱 없이도 통찰력을 최신 상태로 유지할 수 있습니다.

작동 방식

Sirchmunk는 LENS (Latent Evidence Navigation and Search)라는 프레임워크를 사용하여 원본 데이터에서 직접 작동합니다. 모든 것을 벡터로 변환하는 대신, 어휘, 엔티티, 디렉토리, 구조, 문서 간 토픽 맵 등 여러 병렬 경로를 통해 에이전트 기반 검색을 수행한 다음, 신뢰도 가중치 점수를 사용하여 결과를 통합합니다. 비용을 낮추기 위해 필요한 경우에만 대규모 언어 모델(LLMs)을 사용하며, 엄격한 토큰 예산을 통해 각 쿼리의 효율성을 유지합니다. 또한 시스템은 '연결 및 병합', '에지 새로 고침', '메타 클러스터 감지', '글로벌 업데이트'라는 4단계 주기를 통해 시간이 지남에 따라 스스로 진화하는 지식 클러스터를 구축합니다. 이를 통해 검색은 결정론적이면서도 맥락을 인식하게 되며, 답변은 원본 증거에 직접 연결됩니다.

대상 사용자

Sirchmunk는 벡터 인프라의 오버헤드 없이 대규모 로컬 저장소나 웹 규모의 데이터에서 빠르고 실시간으로 검색해야 하는 개발자와 AI 에이전트 빌더를 위해 구축되었습니다. 특히 Python SDK, CLI, HTTP API 또는 Model Context Protocol (MCP)을 통해 LLM 기반 애플리케이션에 검색을 통합하려는 사용자나 검색 평가를 연구하는 연구자에게 유용합니다. 또한 대화형 탐색 및 채팅을 위한 웹 UI도 제공합니다.

주요 특징

• EmbeddingDB 불필요: 벡터 임베딩이나 벡터 데이터베이스가 필요 없습니다. 전처리 없이 원본 파일을 직접 검색합니다.
• 자기 진화형 지식 베이스: 인덱스와 지식 클러스터가 데이터 변경에 따라 자동으로 업데이트되어 수동 재인덱싱 없이도 최신 상태를 유지합니다.
• 예산 관리형 증거 탐색: LENS는 필요한 곳에만 토큰을 사용하여 철저함과 비용 사이의 균형을 맞추며, 구성 가능한 DEEP 및 FAST 검색 모드를 제공합니다.
• 실시간 및 확장성: 매우 낮은 RAM/CPU 소비량으로 방대한 데이터 세트를 처리하며 네이티브 탄력적 지원을 제공합니다.
• 에이전트 준비 완료: 완전한 MCP 서버 지원, OpenAI 호환 LLM 통합, 스트리밍 API 및 OpenClaw와 같은 도구와의 호환성을 제공합니다.
• 개발자 친화적: Python SDK, CLI 명령어 (init, search, serve, web, mcp), 웹 UI, Docker 이미지 및 연구용 벤치마크 프레임워크를 제공합니다.