Tencent/WeVisDoc

WeVisDoc is an end-to-end document parser for page images. Fine-tuned from Qwen3-VL-2B-Instruct and Qwen3-VL-4B-Instruct, it turns a page into structured Markdown, with LaTeX formulas and HTML tables.

解决的问题

WeVisDoc 解决了端到端文档解析的挑战,将页面图像转换为结构化、机器可读的格式。它专门解决了从文档图像中准确提取文本、复杂 LaTeX 公式和 HTML 表格,同时保持原始结构的问题。

工作原理

WeVisDoc 是一个基于 Qwen3-VL(提供 2B 和 4B 参数版本)微调的视觉语言模型。它将页面图像作为输入,并直接生成结构化的 Markdown 输出。它可以通过 vLLM 部署为服务以实现高吞吐量推理,或使用 Transformers 库在本地运行。

适用对象

此工具专为需要数字化文档、自动化 PDF 或图像数据提取,或将视觉文档布局转换为结构化 Markdown 以供其他 AI 系统进一步处理的开发人员和研究人员而设计。

特点

  • 高准确度:在 OmniDocBench v1.6 和 PureDocBench 基准测试中优于其他端到端解析器。
  • 结构化输出:支持将页面图像转换为 Markdown,包括用于公式的 LaTeX 和用于表格的 HTML。
  • 灵活部署:提供多种运行方式,包括用于 API 访问的基于 vLLM 的服务器或基于 Transformers 的本地推理。
  • 可扩展选项:提供两种模型大小(2B 和 4B 参数),以平衡性能和准确性。

相关

  • 项目
  • 项目
  • 项目
  • 项目