drmingler/smart-llm-loader

它解决了什么问题

SmartLLMLoader 旨在简化 LLM 应用的文档预处理流程。它解决了传统工具在提取文档时常会丢失结构、表格和语义意义的“杂乱”问题，这会进一步降低 RAG（检索增强生成）系统的性能。

它是如何工作的

该包将文档转换为干净、LLM 就绪的 markdown。它结合使用 OCR 处理扫描图像和 PDF，并通过 litellm 与各种 LLM 提供者集成，以执行智能、上下文感知的分块。它不是按固定字符数分割文本，而是识别语义主题并保留表格格式，以确保 LLM 接收到高质量、结构化的数据。

适合谁使用

正在构建 RAG 系统、聊天机器人和文档问答应用的开发者，需要一种可靠的方法将复杂文档（包括包含表格和扫描内容的文档）转换为向量存储的结构化块。

特点

• 多模态支持：内置 OCR，用于扫描文档和图像。
• 上下文感知分块：支持上下文、基于页面和自定义分块策略，以保留语义意义。
• 广泛集成：与 LangChain 和 LlamaIndex 无缝协作。
• 提供者不可知：通过 litellm 支持多种 LLM 提供者（例如 Gemini、OpenAI、Anthropic）。
• 结构保留：保持表格格式，并为块添加智能标签的元数据。