opendatalab/DocLayout-YOLO
DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception
解决的问题
文档具有多种样式和布局,了解标题、文本块、表格和图表等元素在页面上的位置对于 PDF 提取或文档数字化等任务至关重要。现有模型往往难以应对多样性以及尺寸差异巨大的元素。本项目提供了一个快速且稳健的检测器来完成这项工作。
工作原理
该模型基于 YOLO-v10 目标检测框架构建,并在名为 DocSynth-300K 的合成数据集上进行了预训练,该数据集由名为 Mesh-candidate BestFit 的流水线生成。该流水线通过将文本和图像等元素放置在空白页面背景上,将任务视为 2D 装箱问题,从而组合出逼真的文档页面。该模型还使用了一个专门设计的模块来感知全局结构和局部细节,帮助其准确检测从整页表格到小标题等各种元素。您可以使用简单的 Python SDK 或演示脚本运行预测,项目还包含了在常用基准数据集上微调过的检查点。
适用人群
构建文档处理流水线的开发人员、研究布局分析的研究人员,或任何需要自动定位扫描文档或原生数字文档组件的人。它也被用于 PDF-Extract-Kit 和 MinerU 等大型开源项目中进行内容提取。
亮点
- Hugging Face Spaces 上的在线演示,方便快速实验。
- 可直接用于推理的预训练模型,以及针对 D4LA 和 DocLayNet 基准测试的检查点。
- 合成数据生成流水线 (Mesh-candidate BestFit),可创建大规模、多样化的训练集。
- 与 PDF-Extract-Kit 和 MinerU 集成,实现端到端的文档解析。
- 通过 pip 简单安装,支持基于脚本和 SDK 的预测。
相关
- 项目
- 项目
- 项目
- 项目