morphik-org/morphik-core
Open-source multimodal retrieval engine (Morphik Core)
해결하는 문제
Morphik Core는 시각적으로 풍부한 문서를 처리할 때 발생하는 기존 RAG(Retrieval-Augmented Generation) 파이프라인의 한계를 해결합니다. 표준 텍스트 기반 추출은 차트, 다이어그램 및 표의 의미를 파괴하는 경우가 많으며, 이로 인해 AI 애플리케이션이 문서 내의 공간적 관계와 시각적 데이터를 "보거나" 이해하지 못해 잘못된 답변을 제공하게 됩니다.
작동 방식
개발자가 비정형 데이터를 수집, 변환 및 검색할 수 있도록 하는 멀티모달 검색 엔진 역할을 합니다. OCR 및 텍스트 임베딩의 파편화된 파이프라인에 의존하는 대신, ColPali와 같은 기술을 사용하여 단일 엔드포인트를 통해 PDF, 이미지 및 비디오 전반의 시각적 콘텐츠를 이해하는 검색을 가능하게 합니다. 또한 분류 및 바운딩 박스를 포함한 빠른 메타데이터 추출 도구도 제공합니다.
대상
여러 추출 및 검색 도구를 수동으로 결합하지 않고도 멀티모달 문서에서 복잡하고 미묘한 컨텍스트를 통합해야 하는 AI 애플리케이션을 구축하는 개발자.
주요 특징
- 멀티모달 검색: ColPali를 사용하여 시각적 이해를 기반으로 이미지, PDF 및 비디오를 검색합니다.
- 메타데이터 추출: 문서에서 레이블 지정, 분류 및 바운딩 박스 추출이 가능합니다.
- 유연한 액세스: Python SDK, REST API, 웹 기반 Morphik Console 및 Model Context Protocol (MCP)를 통해 사용할 수 있습니다。
- 폭넓은 통합: Google Suite, Slack, Confluence와 같은 도구와 연결됩니다.
관련
- 프로젝트
- 프로젝트
miurla/morphic평문 대신 풍부한 대화형 구성 요소와 근거가 포함된 답변을 렌더링하는 생성형 UI를 사용하는 AI 기반 검색 엔진입니다.
- 프로젝트
docling-project/doclingDocling은 많은 문서 유형(PDF, Word, 슬라이드, 스프레드시트, HTML, 전자책, 오디오, 비디오, 이메일 등)을 통합되고 구조화된 표현으로 파싱하는 오픈 소스 Python 라이브러리/CLI입니다. 레이아웃, 표, 코드, 수식, 이미지 및 음성-텍스트를 추출한 다음 Markdown, HTML, JSON, DocLang, DocTags 등으로 내보냅니다. 생성형 AI 워크플로우에 맞게 설계되어 LangChain, LlamaIndex, Crew AI, Haystack과의 플러그 앤 플레이 통합을 제공하며, 개인 정보 보호에 민감한 데이터를 위한 로컬 실행을 지원합니다.
- 프로젝트
ggozad/haiku.raghaiku.rag는 PDF, Office 파일, HTML, Markdown 및 이미지를 기반으로 개인용 인용 중심 RAG 시스템을 구축하기 위한 Python 라이브러리이자 CLI입니다. 하이브리드 벡터/전문 인덱싱을 위해 LanceDB를, 문서 파싱을 위해 Docling을, LLM/임베딩 공급자(기본값 Ollama)를 위해 Pydantic AI를 사용합니다. 하이브리드 검색, 선택적 리랭킹, 멀티모달 이미지 검색, 데이터 집계를 위한 샌드박스 Python, 정확한 페이지 수준 인용을 보여주는 CLI/TUI 기능을 제공합니다. 선택적인 백그라운드 수집기 서비스와 Claude Code와 같은 도구와의 통합을 위한 MCP 서버를 제공합니다. pip install haiku.rag(또는 slim 코어)를 통해 설치하고 haiku-rag add-src, haiku-rag ask 또는 비동기 Python API를 통해 상호 작용할 수 있습니다.
- 프로젝트