pymupdf/pymupdf4llm

解決的問題

PyMuPDF4LLM 將複雜文件（PDF、EPUB 等）轉換為乾淨、結構化的資料格式，例如 Markdown、JSON 和純文字。它專門針對 RAG 流水線中的「髒資料」問題，能處理多欄版面、表格以及掃描頁面，這些通常會導致標準文字提取工具失效，且無需 GPU 或雲端 API 支援。

工作原理

基於 MuPDF C 引擎建構，該程式庫透過分析文件版面來重建文字的自然閱讀順序。它採用混合 OCR 策略，僅在實際無法辨識或為影像的區域觸發光學字元辨識，相比全文件 OCR 可將處理時間減少約 50%。可輸出 GitHub 相容的 Markdown（含 GFM 管道表格）、包含邊界框元資料的結構化 JSON，或可直接輸入向量儲存的逐頁區塊資料。

適用對象

開發 RAG（檢索增強生成）應用的開發者、準備 LLM 訓練或嵌入資料集的資料工程師，以及任何希望實現高保真文件解析但又不想承擔視覺型 LLM 提取成本的使用者。

主要亮點

• 多格式輸出：支援 Markdown、JSON 和純文字。
• 版面感知提取：可處理多欄頁面並重建閱讀順序。
• 混合 OCR：僅對影像覆蓋或損壞的文本區域應用 OCR。
• RAG 就緒區塊：提供帶完整元資料的頁面級區塊，可直接輸入向量儲存。
• 框架整合：支援 LlamaIndex 與 LangChain 的即插即用整合。
• 高效性：相比視覺型 LLM 方法，成本低 10–250 倍，且顯著更快。