davidberenstein1957/dspydantic

解决的问题

DSPydantic 消除了从非结构化来源提取结构化数据时，进行手动反复测试提示词工程的需求。它解决了准确度不一致的问题，以及每次引入新用例或数据格式时，必须繁琐地更新提示词的困扰。

运作方式

本工具基于 DSPy 框架与 Pydantic 构建，允许用户为所需的数据结构定义 Pydantic 模型。用户只需提供少量示例（文本、图片或 PDF）及其预期输出，DSPydantic 便会根据这些示例自动优化提示词与 Pydantic 模型内的字段描述，以最大化提取准确度。

适用对象

需要使用 LLM 从文档、图片或 PDF 中提取结构化数据，并希望摆脱手动调整提示词，转向数据驱动优化流程的开发者。

特色亮点

• 自动提示词优化：利用数据找出最佳提示词与字段描述，通常可提升 10-30% 的准确度。
• Pydantic 整合：提供完整的类型安全与原生的 Pydantic 模型支持。
• 多模态支持：具备从文本、图片与 PDF 中提取数据的能力。
• 生产环境就绪功能：包含批处理、异步调用、缓存，以及保存与加载已优化提示词的功能。
• 置信度评分：提供每次提取的置信度评分，协助验证结果。