drmingler/docling-api

Easily deployable and scalable backend server that efficiently converts various document formats (pdf, docx, pptx, html, images, etc) into Markdown. With support for both CPU and GPU processing, it is Ideal for large-scale workflows, it offers text/table extraction, OCR, and batch processing with sync/async endpoints.

解决的问题

该项目提供了一个可扩展的后端服务器,可将多种文档格式(包括 PDF、DOCX、PPTX、CSV、HTML、图像和 AsciiDoc)转换为 Markdown。它解决了大规模高效处理复杂文档的问题,为单个和批量转换提供了强大的 API。

工作原理

该服务器由 IBM 的 Docling 解析器驱动。采用分布式架构,包括用于 REST API 的 FastAPI 应用、用于处理任务的 Celery 工作进程,以及作为消息代理和结果后端的 Redis。系统支持同步(即时)和异步(任务追踪)转换模式,并可针对 CPU 或 GPU 加速处理进行优化。

适用人群

需要将大量不同类型的文档转换为干净的 Markdown 格式以供进一步处理的开发者和组织,例如用于 LLM 流水线或数据提取任务。

主要亮点

  • 广泛格式支持:支持 PDF、DOCX、PPTX、HTML、图像(JPG、PNG、TIFF、BMP)、AsciiDoc 和 CSV。
  • 高性能处理:为生产环境提供 GPU 加速,并通过 Celery 工作进程实现水平扩展。
  • 灵活的 API:支持同步的单个/批量转换以及可追踪的异步任务。
  • 高级提取功能:包含表格检测、图像提取和多语言 OCR 支持。
  • 监控功能:集成 Flower 仪表板,用于追踪任务状态和工作进程性能。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目