Kohulan/DECIMER-Image_Transformer

解决的问题

化学家经常在论文、数据库或手绘草图中遇到化学结构图像。手动将其转录为机器可读格式既缓慢又容易出错。DECIMER 实现了光学化学结构识别 (OCSR) 的自动化——它读取分子图像并输出相应的 SMILES 字符串，这是化学信息学中使用的标准文本表示形式。

工作原理

DECIMER 使用包含两个主要部分的深度学习流水线：

• 图像特征提取：EfficientNet-V2 卷积网络读取图像并提取视觉特征。
• SMILES 预测：一个 transformer 模型（类似于语言任务中使用的模型）根据这些特征生成 SMILES 序列。 该项目在大型数据集（超过 100 万张图像）上使用 Google TPUs 进行训练以提高速度。它支持打印和手绘化学结构——手绘模型是一个可以按需加载的独立组件。

该软件可通过 pip (pip install decimer) 轻松安装，并提供简单的 Python 接口。首次运行预测时，模型权重（打印结构模型约为 300 MB）会从 Zenodo 下载并缓存。您可以使用 DECIMER.load_models() 预加载两个模型以避免后续下载，也可以指向本地模型目录以完全离线运行。

适用人群

• 需要从图像中提取分子结构的化学家和化学信息学家。
• 将出版物、实验室笔记本或手绘结构数字化的研究人员。
• 构建需要将化学图像转换为 SMILES 的工具的开发人员。

主要亮点

• 开源 (MIT) 且可在 PyPI 上获取。
• 高性能：使用 TPUs 在超过 100 万张图像上进行训练。
• 两个模型：一个用于打印结构，一个用于手绘结构。
• 简单的 Python API：predict_SMILES(image_path) 返回 SMILES 字符串。
• 按需模型下载和缓存；支持使用预安装模型进行离线使用。
• 由耶拿弗里德里希·席勒大学的 Steinbeck Group 持续开发。