morphik-org/morphik-core

Open-source multimodal retrieval engine (Morphik Core). By Morphik — AI back office for skilled nursing & senior living (morphik.ai).

解决的问题

Morphik Core 解决了传统 RAG(检索增强生成)流水线在处理视觉丰富文档时的失效问题。标准的基于文本的提取往往会破坏图表、图解和表格的含义,导致 AI 应用因为无法“看到”或理解文档中的空间关系和视觉数据而提供错误的答案。

工作原理

它作为一个多模态检索引擎,允许开发人员摄取、转换和搜索非结构化数据。它不依赖于 OCR 和文本嵌入的碎片化流水线,而是使用 ColPali 等技术,通过单一端点实现对 PDF、图像和视频中视觉内容的理解搜索。它还提供快速元数据提取工具,包括分类和边界框。

适用对象

需要从多模态文档中整合复杂、细微的上下文,而无需手动拼接多个提取和检索工具的 AI 应用开发者。

亮点

  • 多模态搜索:使用 ColPali 基于视觉理解在图像、PDF 和视频中进行搜索。
  • 元数据提取:能够从文档中进行标记、分类和提取边界框。
  • 灵活的访问:可通过 Python SDK、REST API、基于 Web 的 Morphik Console 和 Model Context Protocol (MCP) 使用。
  • 广泛的集成:可与 Google Suite、Slack 和 Confluence 等工具连接。