morphik-org/morphik-core

Open-source multimodal retrieval engine (Morphik Core). By Morphik — AI back office for skilled nursing & senior living (morphik.ai).

解決的問題

Morphik Core 解決了傳統 RAG(檢索增強生成)流水線在處理視覺豐富文檔時的失效問題。標準的基於文本的提取往往會破壞圖表、圖解和表格的含義,導致 AI 應用因為無法「看到」或理解文檔中的空間關係和視覺數據而提供錯誤的答案。

工作原理

它作為一個多模態檢索引擎,允許開發人員攝取、轉換和搜尋非結構化數據。它不依賴於 OCR 和文本嵌入的碎片化流水線,而是使用 ColPali 等技術,透過單一端點實現對 PDF、圖像和影片中視覺內容的理解搜尋。它還提供快速元數據提取工具,包括分類和邊界框。

適用對象

需要從多模態文檔中整合複雜、細微的上下文,而無需手動拼接多個提取和檢索工具的 AI 應用開發者。

亮點

  • 多模態搜尋:使用 ColPali 基於視覺理解在圖像、PDF 和影片中進行搜尋。
  • 元數據提取:能夠從文檔中進行標記、分類和提取邊界框。
  • 靈活的存取:可透過 Python SDK、REST API、基於 Web 的 Morphik Console 和 Model Context Protocol (MCP) 使用。
  • 廣泛的整合:可與 Google Suite、Slack 和 Confluence 等工具連接。