katanaml/sparrow
Structured data extraction, instruction calling and agentic workflows with ML, LLM and Vision LLM
What it solves
Sparrow 是一个面向企业文档智能的 API-first 平台。它解决了将非结构化文档——例如发票、收据、银行对账单和财务表格——转换为干净、经过验证、结构化的 JSON 数据的问题。它还通过指令调用和代理工作流处理文本处理和决策任务。
How it works
Sparrow 使用可插拔式架构，允许用户根据任务混合搭配不同的处理流水线：
- Sparrow Parse: 利用 Vision LLMs 从图像和多-page PDFs 从图像和多页 PDF 提取结构化 JSON。
- Sparrow Instructor: 使用 Text LLMs 进行指令处理、验证和决策。
- Sparrow Agents: 通过 Prefect 编排多步工作流，并使用自定义代理和通过 Prefect 进行视觉化监控。
该平台支持多种后端，以确保它可以在各种硬件上运行，包括用于 Apple Silicon 的 MLX, vLLM 用于 NVIDIA GPU, Ollama, 以及用于云端提取的 Mistral OCR。 所有处理过程都可以运行在用户自己的基础设施上，以避免外部 API 依赖。
Who it’s for
它是为需要自动化从复杂文档中提取数据，并希望在不依赖云端 AI 服务的情况下将数据集成到后端流水线或数据工作流中的企业和开发者而设计的。
Highlights
- Universal Document Processing: 支持广泛的格式，包括 PNG, JPG, 和多页 PDFs。
- Schema Validation: 使用基于 JSON schema 的提取来确保输出数据有效。
- Pluggable Backends: Compatible with MLX, vLLM, Ollama, 和 Hugging Face。
- Local Execution: 设计用于在私有基础设施上运行，以增强安全性和仅需 RESTful API 调用进行集成。
- Visual Interface: 包含一个用于拖拽式上传和实时处理结果的 Web UI。