harvardnlp/im2markup

解决的问题

Im2markup 旨在解决将图像逆向工程还原为生成该图像的标记代码的问题。该系统无需依赖 OCR 或人工转录，而是学习直接预测源代码——例如，渲染后的方程图像所对应的 LaTeX 公式，或截取的网页的 HTML 代码。

工作原理

该系统结合了两个组件：一个用于读取图像中文本和布局结构的卷积神经网络 (CNN)，以及一个用于生成标记序列的基于注意力机制的神经机器翻译 (NMT) 模型。注意力机制还能产生视觉对齐，显示图像的哪些部分对应于输出中的哪些标记。该流水线包括预处理步骤（裁剪、归一化公式、过滤坏样本、构建词汇表），并支持使用 BLEU、编辑距离和基于图像的指标进行训练、测试和评估。

适用人群

从事文档理解、自动化数学/LaTeX 转录或网页结构提取的研究人员和开发人员。该项目提供了代码、数据集 (IM2LATEX-100K) 以及针对 LaTeX 和 HTML 任务的预训练模型。

主要亮点

• 使用 CNN + 基于注意力机制的 NMT 架构，这是一种适用于任何图像到标记任务的通用方法。
• 包含一个大型数据集 (IM2LATEX-100K) 以及用于数学到 LaTeX 和网页到 HTML 的预训练模型。
• 提供完整的流水线：预处理、训练、测试以及多种评估指标（BLEU、编辑距离、图像精确匹配）。
• 注意力机制实现了从标记到图像的可解释对齐。