langextract: 一个将数据映射回源文本以进行精确验证的结构化信息提取库

它解决了什么问题

LangExtract 是一个 Python 库，旨在从非结构化文本文档中提取结构化信息。它解决了将杂乱、自由格式的文本（如临床笔记或报告）转换为组织良好的数据，同时确保每条提取的信息都基于源文本，以便于验证的挑战。

工作原理

该库使用大语言模型 (LLMs) 和 few-shot prompting 策略。用户通过提供提示词 (prompt) 和几个高质量的示例来定义提取任务，展示文本应如何映射到结构化实体。为了处理长文档，它采用了文本分块、并行处理和多次提取轮次的方法来提高召回率。

适用人群

它专为需要将非结构化文本转换为结构化数据集，而无需微调模型的开发人员和研究人员而构建。对于处理特定领域文档（如医疗报告或文学分析）的人员来说特别有用，因为这些领域需要可追溯性和精确度。

亮点

• 精确的源文本溯源 (Source Grounding): 将提取内容映射到源文本中确切的字符区间，实现视觉上的可追溯性。
• 可靠的结构化输出: 使用受控生成（在支持的模型中）和 few-shot 示例来强制执行一致的模式 (schemas)。
• 长文档优化: 使用并行处理和多次提取轮次来克服“大海捞针”问题。
• 交互式可视化: 生成自包含的 HTML 文件，以在原始上下文中可视化提取的实体。
• 灵活的 LLM 支持: 兼容云端模型 (Gemini, OpenAI) 和通过 Ollama 使用的本地模型。
• 可扩展的提供商系统: 允许用户通过插件系统添加自定义的 LLM 提供商。